Pratica la stima di intervalli di confidenza

Stima intervalli per quantità fattuali e verifica quanto spesso il valore vero cade nel tuo intervallo.

Why it works

Un intervallo di confidenza al 90% dovrebbe contenere il valore vero il 90% delle volte. Gli intervalli al 90% della maggior parte delle persone sono di gran lunga troppo stretti — i valori reali cadono fuori il 30-50% delle volte, riflettendo un grave eccesso di fiducia nella precisione. Praticare la stima di intervalli con feedback immediato ricalibra il senso interno di "quanto so", che si trasferisce a un'espressione di incertezza più onesta nelle decisioni.

How to do it

1. Fai un quiz di calibrazione: per ogni domanda fattuale, dichiara un intervallo di cui sei sicuro al 90% contenga la risposta vera.
2. Dopo ogni gruppo di domande, valuta quanto spesso il valore vero era dentro il tuo intervallo.
3. Se i tuoi intervalli al 90% contengono la risposta giusta meno del 90% delle volte, allarga gli intervalli nel round successivo.
4. Ripeti settimanalmente finché i tuoi intervalli al 90% atterrano davvero il 90% delle volte — questa è la calibrazione.

Prove scientifiche

Molteplici studi sull'allenamento della probabilità hanno trovato che gli esercizi di intervallo di confidenza con feedback riducono significativamente l'eccesso di fiducia nei test di calibrazione, con effetti che persistono per settimane. Questa è tra le forme di debiasing più direttamente supportate. Lo studio fondativo di Alpert e Raiffa sull'allenamento dei valutatori ha documentato il segno rivelatore — gli intervalli al 98% presunti delle persone mancano il valore vero molto più del 2% delle volte — e ha mostrato che il divario si restringe una volta che i valutatori ricevono feedback su dove i loro intervalli hanno fallito. (observational)

I miglioramenti di calibrazione nei compiti di allenamento non si trasferiscono completamente a domini nuovi; la calibrazione è in parte specifica del dominio e richiede feedback in ciascun dominio per essere affidabile.

Fonti

• Lichtenstein, Fischhoff & Phillips (1982), "Calibration of subjective probabilities," in Judgment Under Uncertainty: Heuristics and Biases
• Tetlock & Gardner (2015), Superforecasting — calibration training modules
• Alpert, M., & Raiffa, H. (1982). A progress report on the training of probability assessors. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 294–305). Cambridge University Press.
• Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of probabilities: The state of the art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 306–334). Cambridge University Press.

Errore comune

Allargare tutti gli intervalli uniformemente invece di imparare a discriminare — una persona ben calibrata ha intervalli stretti quando sa davvero qualcosa e ampi quando non lo sa, non intervalli uniformemente ampi.