Mantieni un registro di previsioni con punteggio

Registra le previsioni con probabilità esplicite e valutale quando si risolvono.

Why it works

La calibrazione richiede un ciclo di feedback: dichiari una probabilità, l'esito accade, e impari se la tua fiducia dichiarata corrispondeva al tasso base delle tue previsioni. Senza registrare e valutare, la fiducia resta un sentimento piuttosto che una quantità misurabile. Il punteggio di Brier è la metrica standard: più basso è meglio, premiando previsioni sicure corrette e penalizzando proporzionalmente quelle sicure sbagliate.

How to do it

1. Imposta un registro semplice: data, domanda, stima di probabilità, esito (quando risolto).
2. Registra almeno cinque-dieci previsioni al mese per generare dati sufficienti per l'analisi di calibrazione.
3. Valuta ogni previsione risolta usando la formula del punteggio di Brier: (probabilità − esito)², dove l'esito è 0 o 1.
4. Traccia i tuoi punteggi di Brier nel tempo — una tendenza verso punteggi più bassi è miglioramento reale.

Prove scientifiche

I tornei di forecasting di Tetlock hanno usato il punteggio di Brier durante tutto il percorso; i previsori tracciati e valutati sono migliorati significativamente più di quelli che facevano previsioni senza feedback. Il meccanismo di punteggio è l'operazionalizzazione del feedback di calibrazione ed è centrale nel programma di ricerca del good-judgment. (observational)

I registri di previsione personali richiedono disciplina da mantenere e diventano statisticamente significativi solo dopo volume sufficiente — tipicamente centinaia di previsioni per una calibrazione a grana fine.

Fonti

• Tetlock (2005), Expert Political Judgment
• Tetlock & Gardner (2015), Superforecasting
• Tetlock, P. E. (2005). Expert Political Judgment: How Good Is It? How Can We Know? Princeton University Press.
• Mellers, B., Stone, E., Atanasov, P., Rohrbaugh, N., Metz, S. E., Ungar, L., Bishop, M. M., Horowitz, M., Merkle, E., & Tetlock, P. (2015). The psychology of intelligence analysis: Drivers of prediction accuracy in world politics. Journal of Experimental Psychology: Applied, 21(1), 1–14.
• Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.

Errore comune

Registrare le previsioni in linguaggio vago ("penso che andrà bene") invece che con probabilità numeriche, il che rende impossibile la valutazione e non misurabile la calibrazione.