L'entraînement à la calibration
Construire la boucle de rétroaction entre confiance et précision
Comment entraîner une confiance bien calibrée ?
L'entraînement à la calibration vous apprend à faire correspondre vos niveaux de confiance déclarés à votre précision réelle : si vous dites « 70 % confiant », environ 70 % de ces affirmations devraient s'avérer correctes. Les recherches de Tetlock sur la prévision et les études d'entraînement à la probabilité montrent que la calibration est entraînable avec la pratique et la rétroaction — les preuves ici sont spécifiques et reproductibles.
La plupart des gens sont mal calibrés dans une direction spécifique : trop confiants dans les domaines où ils se sentent compétents, pas assez confiants dans les nouveaux, et systématiquement mauvais pour exprimer les probabilités d'événements rares. L'entraînement à la calibration est la pratique délibérée de mesurer l'écart entre la confiance déclarée et la précision réelle, puis de le réduire avec la rétroaction. Il ne s'agit pas d'être incertain — il s'agit d'être précisément incertain. Voici les pratiques qui font fonctionner l'entraînement.
Pratiques
- Pratiquer l'estimation d'intervalles de confiance
Estimez des plages pour des quantités factuelles et vérifiez à quelle fréquence la vraie valeur tombe dans votre plage.
- Maintenir un journal de prédictions noté
Enregistrez les prédictions avec des probabilités explicites et notez-les quand elles se résolvent.
- Identifier les domaines spécifiques où vous êtes le plus surconfiant
La calibration est spécifique au domaine — trouvez où votre confiance dépasse le plus votre précision.
- Ancrer votre niveau de confiance sur les taux de base, pas le ressenti
Commencez votre estimation de confiance à partir du taux de réussite historique pour ce type de prédiction, pas à partir de ce que vous ressentez.
- Pré-engager des critères de résolution avant de faire une prédiction
Définissez exactement ce qui compte comme « j'avais raison » avant que le résultat ne se produise.
- Construire des répétitions de calibration avec du trivia et des questions d'almanach à faible enjeu
Utilisez des questions de trivia factuelles comme terrain d'entraînement pour la calibration — les résultats se résolvent immédiatement et les enjeux sont nuls.
- Distinguer l'incertitude (quantifiable) de l'ignorance (non quantifiable)
Sachez quand vous pouvez attribuer une probabilité et quand la situation est si nouvelle qu'un chiffre serait fabriqué.
Pratiquez cela avec IX Coach
Concepts associés
- La superprévision
Les habitudes, l'état d'esprit et les pratiques de calibrage des prévisionnistes les plus précis au monde
- La vue extérieure
Corriger l'optimisme de la vue intérieure grâce aux taux de base, à l'histoire et à une humilité calibrée
- La prévision par classe de référence
Utiliser les taux de base et les ancrages de la vue de l’extérieur pour prévoir plus honnêtement