Maintenir un journal de prédictions noté

Enregistrez les prédictions avec des probabilités explicites et notez-les quand elles se résolvent.

Why it works

La calibration exige une boucle de rétroaction : vous énoncez une probabilité, le résultat se produit, et vous apprenez si votre confiance déclarée correspondait au taux de base de vos prédictions. Sans enregistrement ni notation, la confiance reste un sentiment plutôt qu'une quantité mesurable. Le score de Brier est la mesure standard : plus bas est meilleur, récompensant les prédictions correctes confiantes et pénalisant proportionnellement les prédictions fausses confiantes.

How to do it

1. Mettez en place un journal simple : date, question, estimation de probabilité, résultat (une fois résolu).
2. Enregistrez au moins cinq à dix prédictions par mois pour générer assez de données pour l'analyse de calibration.
3. Notez chaque prédiction résolue avec la formule du score de Brier : (probabilité − résultat)², où le résultat est 0 ou 1.
4. Représentez vos scores de Brier dans le temps — une tendance vers des scores plus bas est une réelle amélioration.

Données probantes

Les tournois de prévision de Tetlock utilisaient la notation de Brier tout du long ; les prévisionnistes suivis et notés se sont significativement plus améliorés que ceux prévoyant sans rétroaction. Le mécanisme de notation est l'opérationnalisation de la rétroaction de calibration et est central au programme de recherche du bon jugement. (observational)

Les journaux de prédiction personnels exigent de la discipline à maintenir et ne deviennent statistiquement significatifs qu'après un volume suffisant — typiquement des centaines de prédictions pour une calibration fine.

Sources

• Tetlock (2005), Expert Political Judgment
• Tetlock & Gardner (2015), Superforecasting
• Tetlock, P. E. (2005). Expert Political Judgment: How Good Is It? How Can We Know? Princeton University Press.
• Mellers, B., Stone, E., Atanasov, P., Rohrbaugh, N., Metz, S. E., Ungar, L., Bishop, M. M., Horowitz, M., Merkle, E., & Tetlock, P. (2015). The psychology of intelligence analysis: Drivers of prediction accuracy in world politics. Journal of Experimental Psychology: Applied, 21(1), 1–14.
• Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.

Erreur fréquente

Enregistrer les prédictions en langage vague (« je pense que ça va bien se passer ») plutôt qu'en probabilités numériques, ce qui rend la notation impossible et la calibration immesurable.