Suivez votre calibration à travers de nombreuses prédictions

Notez vos niveaux de confiance par rapport aux résultats sur des dizaines de prédictions pour trouver vos biais systématiques.

Why it works

Une seule décision ne dit presque rien sur la qualité de votre prise de décision — les résultats sont trop bruités. La calibration — l'adéquation entre la confiance déclarée et la précision réelle — n'apparaît qu'à travers de nombreuses prédictions. Si vous dites « 80 % confiant » sur 20 décisions et avez raison seulement 50 % du temps, vous êtes systématiquement surconfiant à ce niveau, et le journal vous donne les données pour le voir.

How to do it

1. En consignant chaque décision, assignez une probabilité à votre résultat attendu (par exemple 70 %).
2. Une fois les résultats connus, notez si le résultat a correspondu à la prédiction.
3. Après 20 à 30 entrées, regroupez les prédictions par tranche de confiance (50–60 %, 70–80 %, 90 %+) et calculez votre taux de précision dans chaque tranche.
4. Si votre précision est systématiquement inférieure à votre confiance, révisez vos niveaux de confiance à la baisse dans ce domaine.

Données probantes

L'entraînement à la calibration — faire des prédictions probabilistes et les noter par rapport aux résultats — est l'une des rares interventions dont on a la preuve qu'elle améliore réellement la précision des prévisions. La recherche sur les superprévisionnistes a montré que le suivi explicite et la rétroaction réduisent la surconfiance. Lichtenstein et Fischhoff ont démontré que même un entraînement bref avec rétroaction sur les résultats améliorait de façon mesurable la calibration, établissant que l'écart confiance-précision est entraînable et non figé. (observational)

Les preuves sur les superprévisionnistes viennent de tournois de prédiction géopolitique ; le transfert vers les décisions personnelles et professionnelles est plausible mais les tailles d'effet dans les décisions ordinaires de la vie ne sont pas directement établies. La calibration s'améliore avec la pratique, mais la surconfiance persiste même chez les praticiens expérimentés.

Sources

• Tetlock & Gardner (2015), Superforecasting: The Art and Science of Prediction
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149–171.
• Mellers, B., Stone, E., Murray, T., Minster, A., Rohrbaugh, N., Bishop, M., Chen, E., Baker, J., Hou, Y., Horowitz, M., Ungar, L., & Tetlock, P. (2015). Identifying and cultivating superforecasters as a method of improving probabilistic predictions. Perspectives on Psychological Science, 10(3), 267–281.
• Chang, W., Chen, E., Mellers, B., & Tetlock, P. (2016). Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournaments. Judgment and Decision Making, 11(5), 509–526.

Erreur fréquente

Consigner des décisions sans assigner de probabilités, ce qui rend le suivi de calibration impossible et ne laisse qu'un registre narratif au lieu d'un registre statistique.