Construire des répétitions de calibration avec du trivia et des questions d'almanach à faible enjeu

Utilisez des questions de trivia factuelles comme terrain d'entraînement pour la calibration — les résultats se résolvent immédiatement et les enjeux sont nuls.

Why it works

La compétence de calibration, comme toute compétence, exige de la répétition avec rétroaction. Les décisions du monde réel se résolvent lentement, ont des enjeux émotionnels élevés qui déforment la notation honnête, et se produisent trop rarement pour une itération rapide. Les questions de trivia et d'almanach fournissent une pratique à haut volume et rétroaction immédiate dans un domaine sans interférence émotionnelle — en faisant un environnement d'entraînement idéal pour la compétence métacognitive sous-jacente qui se transfère aux prédictions à fort enjeu.

How to do it

1. Utilisez un outil d'entraînement à la calibration ou un almanach pour pratiquer l'estimation d'intervalles de confiance (par exemple, OpenBook, des outils de navigateur « Calibrate Your Uncertainty »).
2. Visez au moins 20 à 30 questions par session pour générer une rétroaction statistiquement significative.
3. Après chaque session, examinez où votre probabilité déclarée a le plus dévié de votre taux de réussite.
4. Traduisez le schéma de mauvaise calibration de la session en règle pour les prédictions du monde réel.

Données probantes

Lichtenstein et Fischhoff et les chercheurs suivants ont trouvé que les exercices d'entraînement à la probabilité avec rétroaction réduisent l'excès de confiance, et que les améliorations sont observables dans des études contrôlées avec mesure de suivi. Le transfert vers des domaines du monde réel est partiel mais présent. (observational)

Les améliorations de calibration issues de l'entraînement au trivia ne se généralisent pas complètement aux domaines de structure, de poids émotionnel ou de délais de rétroaction différents. L'entraînement est une fondation, pas une solution complète.

Sources

• Lichtenstein & Fischhoff (1980), "Training for calibration," Organizational Behavior and Human Performance
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149–171.

Erreur fréquente

Traiter une bonne performance en calibration de trivia comme une preuve de bonne calibration dans des domaines conséquents — la contamination émotionnelle et motivationnelle des vraies décisions est absente du trivia.