Traccia le tue stime e calibrale

Confronta le tue stime di Fermi con le cifre reali quando puoi, e usa il divario per migliorare le stime future.

Why it works

L'abilità di stima di Fermi si costruisce attraverso cicli di feedback — confrontare le stime con i valori effettivi rivela bias sistematici (ad esempio, sottostimare costantemente la popolazione o sovrastimare i tassi) che possono essere corretti con la consapevolezza. Senza feedback, l'abilità di stima si stabilizza al livello dell'intuizione; con feedback, migliora misurabilmente verso la calibrazione esperta.

How to do it

1. Tieni un diario delle stime fatte e dei valori effettivi quando diventano disponibili.
2. Identifica bias direzionali sistematici: le tue stime sono costantemente alte o basse su certi tipi di quantità?
3. Applica un fattore di correzione ai domini dove hai identificato un bias persistente.
4. Rivedi il diario trimestralmente e nota dove la calibrazione è migliorata e dove no.

Prove scientifiche

La ricerca sull'addestramento alla previsione mostra costantemente che il feedback sull'accuratezza predittiva, combinato con la riflessione strutturata, produce stimatori sostanzialmente meglio calibrati. Il vantaggio dei superforecaster è significativamente spiegato dalla loro pratica di rivedere e aggiornare in base agli esiti delle previsioni. (observational)

Il miglioramento della calibrazione richiede abbastanza previsioni in un dominio perché il feedback sia statisticamente significativo; nei domini a bassa frequenza, i guadagni di calibrazione sono lenti.

Fonti

• Tetlock & Gardner (2015), Superforecasting — tracking records as the engine of calibration improvement
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171.
• Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological Strategies for Winning a Geopolitical Forecasting Tournament. Psychological Science, 25(5), 1106-1115.

Errore comune

Verificare una stima contro la realtà una volta e concludere di essere ben calibrato — la calibrazione è una proprietà statistica visibile solo attraverso molte previsioni.