Suivre vos estimations et vous calibrer

Comparez vos estimations de Fermi aux chiffres réels quand vous le pouvez, et utilisez l'écart pour améliorer les estimations futures.

Why it works

La compétence d'estimation de Fermi se construit par des boucles de rétroaction — comparer les estimations aux valeurs réelles révèle des biais systématiques (par exemple, sous-estimer systématiquement une population ou surestimer des taux) qui peuvent être corrigés une fois identifiés. Sans rétroaction, la compétence d'estimation plafonne au niveau de l'intuition ; avec la rétroaction, elle s'améliore de façon mesurable vers une calibration experte.

How to do it

1. Tenez un journal des estimations faites et des valeurs réelles quand elles deviennent disponibles.
2. Identifiez les biais directionnels systématiques : vos estimations sont-elles systématiquement hautes ou basses sur certains types de quantités ?
3. Appliquez un facteur de correction aux domaines où vous avez identifié un biais persistant.
4. Révisez le journal chaque trimestre et notez où la calibration s'est améliorée et où non.

Données probantes

La recherche sur l'entraînement à la prévision montre systématiquement que la rétroaction sur la précision des prédictions, combinée à une réflexion structurée, produit des estimateurs nettement mieux calibrés. L'avantage des superprévisionnistes s'explique en grande partie par leur pratique de révision et d'actualisation basée sur les résultats de leurs prédictions. (observational)

L'amélioration de la calibration exige assez de prédictions dans un domaine pour que la rétroaction soit statistiquement significative ; dans les domaines à basse fréquence, les gains de calibration sont lents.

Sources

• Tetlock & Gardner (2015), Superforecasting — tracking records as the engine of calibration improvement
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171.
• Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological Strategies for Winning a Geopolitical Forecasting Tournament. Psychological Science, 25(5), 1106-1115.

Erreur fréquente

Vérifier une estimation face à la réalité une seule fois et en conclure que vous êtes bien calibré — la calibration est une propriété statistique visible seulement sur de nombreuses prédictions.