Pratiquer l'estimation d'intervalles de confiance

Estimez des plages pour des quantités factuelles et vérifiez à quelle fréquence la vraie valeur tombe dans votre plage.

Why it works

Un intervalle de confiance de 90 % devrait contenir la vraie valeur 90 % du temps. Les intervalles de 90 % de la plupart des gens sont bien trop étroits — les vraies valeurs tombent en dehors 30 à 50 % du temps, reflétant un excès de confiance sévère dans la précision. Pratiquer l'estimation d'intervalles avec une rétroaction immédiate recalibre le sens interne de « combien je sais », ce qui se transfère à une expression plus honnête de l'incertitude dans les décisions.

How to do it

1. Faites un quiz de calibration : pour chaque question factuelle, énoncez une plage dont vous êtes confiant à 90 % qu'elle contient la vraie réponse.
2. Après chaque lot de questions, calculez à quelle fréquence la vraie valeur était dans votre plage.
3. Si vos intervalles de 90 % contiennent la bonne réponse moins de 90 % du temps, élargissez vos plages au tour suivant.
4. Répétez chaque semaine jusqu'à ce que vos intervalles de 90 % atterrissent réellement 90 % du temps — c'est la calibration.

Données probantes

Plusieurs études sur l'entraînement à la probabilité ont trouvé que les exercices d'intervalle de confiance avec rétroaction réduisent significativement l'excès de confiance dans les tests de calibration, avec des effets qui persistent sur des semaines. C'est parmi les formes de débiaisement les plus directement soutenues. (observational)

Les améliorations de calibration dans les tâches d'entraînement ne se transfèrent pas complètement aux domaines nouveaux ; la calibration est partiellement spécifique au domaine et exige une rétroaction dans chaque domaine pour être fiable.

Sources

• Lichtenstein, Fischhoff & Phillips (1982), "Calibration of subjective probabilities," in Judgment Under Uncertainty: Heuristics and Biases
• Tetlock & Gardner (2015), Superforecasting — calibration training modules
• Alpert, M., & Raiffa, H. (1982). A progress report on the training of probability assessors. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 294–305). Cambridge University Press.
• Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of probabilities: The state of the art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 306–334). Cambridge University Press.

Erreur fréquente

Élargir toutes les plages uniformément plutôt que d'apprendre à discriminer — une personne bien calibrée a des plages étroites quand elle sait vraiment quelque chose et larges quand elle ne sait pas, pas des plages uniformément larges.