Tratta i campioni piccoli con scetticismo esplicito

Una sequenza breve può sembrare rappresentativa senza essere statisticamente affidabile — regola la fiducia in base alla dimensione del campione.

Why it works

L'euristica della rappresentatività è insensibile alla dimensione del campione: le persone giudicano la probabilità di una sequenza di risultati con 4 osservazioni allo stesso modo in cui giudicano una con 40. Ma più piccolo è il campione, più alta è la varianza — risultati estremi o schematici sono molto più probabili per caso. Riconoscere che i campioni piccoli sono inaffidabili corregge la tendenza a leggere significato nei risultati precoci e a fare generalizzazioni premature.

How to do it

1. Quando trai una conclusione dai dati, scrivi esplicitamente la dimensione del campione.
2. Chiediti: "Se la verità sottostante fosse casuale, quanto spesso vedrei un risultato così estremo per caso in un campione così piccolo?"
3. Trattieni conclusioni sicure finché non hai un campione che renda implausibili le spiegazioni casuali.
4. Se non puoi ottenere un campione più grande, allarga il tuo intervallo di confidenza invece di restringere la conclusione.

Prove scientifiche

La "legge dei piccoli numeri" (Tversky & Kahneman, 1971) descrive la convinzione erronea che i campioni piccoli siano rappresentativi quanto quelli grandi. Questo è ben replicato sia in popolazioni non esperte sia esperte, inclusi psicologi che ragionano sulla potenza statistica. (observational)

Lo scetticismo verso i campioni piccoli può essere ipercorretto — non ogni risultato precoce dovrebbe essere scartato; l'aggiornamento bayesiano usando un prior ragionevole è più calibrato dello scetticismo generalizzato.

Fonti

• Tversky & Kahneman (1971), Belief in the law of small numbers, Psychological Bulletin

Errore comune

Allargare numericamente gli intervalli di confidenza ma continuare ad agire sulla stima puntuale — l'aggiustamento deve cambiare la decisione, non solo il riconoscimento verbale dell'incertezza.