Traccia la tua calibrazione attraverso molte previsioni

Valuta i tuoi livelli di fiducia rispetto agli esiti su decine di previsioni per trovare i tuoi bias sistematici.

Why it works

Una singola decisione ti dice quasi nulla sulla qualità del tuo processo decisionale — gli esiti sono troppo rumorosi. La calibrazione — la corrispondenza tra fiducia dichiarata e accuratezza effettiva — diventa visibile solo attraverso molte previsioni. Se dici "80% fiducioso" attraverso 20 decisioni e hai ragione solo il 50% delle volte, sei sistematicamente troppo sicuro a quel livello, e il diario ti dà i dati per vederlo.

How to do it

1. Quando registri ogni decisione, assegna una probabilità al tuo esito atteso (es. 70%).
2. Dopo che gli esiti si sono risolti, registra se l'esito ha corrisposto alla previsione.
3. Dopo 20-30 voci, raggruppa le previsioni per fascia di fiducia (50-60%, 70-80%, 90%+) e calcola il tuo tasso di accuratezza in ciascuna fascia.
4. Se la tua accuratezza è costantemente inferiore alla tua fiducia, rivedi al ribasso i tuoi livelli di fiducia in quel dominio.

Prove scientifiche

L'allenamento alla calibrazione — fare previsioni probabilistiche e valutarle rispetto agli esiti — è uno dei pochi interventi con evidenza di miglioramento genuino dell'accuratezza previsionale. La ricerca sui superforecaster ha mostrato che il tracciamento esplicito e il feedback riducono l'eccesso di fiducia. Lichtenstein e Fischhoff hanno dimostrato che anche un breve addestramento con feedback sull'esito migliorava misurabilmente la calibrazione, stabilendo che il divario fiducia-accuratezza è allenabile piuttosto che fisso. (observational)

L'evidenza sui superforecaster viene da tornei di previsione geopolitica; il trasferimento a decisioni personali e professionali è plausibile ma le dimensioni dell'effetto nelle decisioni di vita ordinaria non sono direttamente stabilite. La calibrazione migliora con la pratica, ma l'eccesso di fiducia persiste anche nei praticanti esperti.

Fonti

• Tetlock & Gardner (2015), Superforecasting: The Art and Science of Prediction
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149–171.
• Mellers, B., Stone, E., Murray, T., Minster, A., Rohrbaugh, N., Bishop, M., Chen, E., Baker, J., Hou, Y., Horowitz, M., Ungar, L., & Tetlock, P. (2015). Identifying and cultivating superforecasters as a method of improving probabilistic predictions. Perspectives on Psychological Science, 10(3), 267–281.
• Chang, W., Chen, E., Mellers, B., & Tetlock, P. (2016). Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournaments. Judgment and Decision Making, 11(5), 509–526.

Errore comune

Registrare decisioni senza assegnare probabilità, il che rende impossibile tracciare la calibrazione e ti lascia solo una registrazione narrativa invece che statistica.