Kleine Stichproben mit expliziter Skepsis behandeln

Eine kurze Sequenz kann repräsentativ aussehen, ohne statistisch verlässlich zu sein – das Vertrauen an die Stichprobengröße anpassen.

Why it works

Die Repräsentativitätsheuristik ist unempfindlich gegenüber Stichprobengröße: Menschen beurteilen die Wahrscheinlichkeit einer Ergebnissequenz mit 4 Beobachtungen genauso wie eine mit 40. Aber je kleiner die Stichprobe, desto höher die Varianz – extreme oder gemusterte Ergebnisse sind durch Zufall weit wahrscheinlicher. Zu erkennen, dass kleine Stichproben unzuverlässig sind, korrigiert die Tendenz, frühen Ergebnissen Bedeutung zuzuschreiben und voreilige Verallgemeinerungen zu treffen.

How to do it

1. Beim Ziehen einer Schlussfolgerung aus Daten die Stichprobengröße explizit notieren.
2. Fragen: „Wenn die zugrunde liegende Wahrheit zufällig wäre, wie oft würde ich ein so extremes Ergebnis durch Zufall in einer so kleinen Stichprobe sehen?“
3. Selbstsichere Schlussfolgerungen zurückhalten, bis eine Stichprobe vorliegt, die Zufallserklärungen unplausibel macht.
4. Wenn keine größere Stichprobe möglich ist, das Konfidenzintervall erweitern statt die Schlussfolgerung zu verengen.

Evidenz

Das „Gesetz der kleinen Zahlen“ (Tversky & Kahneman, 1971) beschreibt den irrtümlichen Glauben, dass kleine Stichproben ebenso repräsentativ sind wie große. Das ist bei Laien und Fachleuten gleichermaßen gut repliziert, einschließlich Psychologen, die über statistische Aussagekraft nachdenken. (observational)

Skepsis gegenüber kleinen Stichproben kann überkorrigiert werden – nicht jedes frühe Ergebnis sollte verworfen werden; bayessches Aktualisieren mit einem vernünftigen Prior ist kalibrierter als pauschale Skepsis.

Quellen

• Tversky & Kahneman (1971), Belief in the law of small numbers, Psychological Bulletin

Häufiger Fehler

Konfidenzintervalle numerisch erweitern, aber trotzdem nach der Punktschätzung handeln – die Anpassung muss die Entscheidung verändern, nicht nur das verbale Eingeständnis von Unsicherheit.