Se méfier de la fausse précision dans les prévisions et modèles

Traitez toute probabilité précise ou prévision quantitative avec une suspicion explicite quant à savoir si le modèle correspond au domaine.

Why it works

Les nombres créent un effet de confiance : un modèle disant qu'il y a une probabilité de 2,3 % d'échec semble plus crédible que « environ 1 sur 50 » — même si les deux expriment la même probabilité et que la précision peut être entièrement fabriquée. Dans les domaines de type jeu, la précision est justifiée ; dans les domaines de hasard sauvage, la précision est une propriété des hypothèses du modèle, pas de la réalité. Questionner la précision redirige l'attention vers la validité du modèle.

How to do it

1. Quand vous voyez une prévision numérique précise, demandez-vous : « Sur quelles hypothèses cette précision est-elle construite, et ces hypothèses tiennent-elles dans ce domaine ? »
2. Réexprimez la prévision comme une large fourchette : « Ce modèle dit 2,3 %, mais étant donné les hypothèses, la fourchette réelle pourrait être de 0,5 % à 15 %. »
3. Pondérez la décision en conséquence.

Données probantes

Cohérent avec les preuves sur l'incertitude des modèles et le calibrage en prévision. Les intervalles de confiance des prévisionnistes professionnels sont systématiquement trop étroits à travers les domaines, de la météo à la finance, indiquant que la précision affichée dépasse habituellement la précision justifiée. (observational)

Toute précision n'est pas fausse — dans des domaines stables et bien compris avec beaucoup de données, la précision du modèle peut être justifiée. Le test consiste à savoir si le domaine la justifie.

Erreur fréquente

Rejeter toute analyse quantitative parce que la précision semble suspecte — le but est d'élargir l'intervalle de confiance, pas d'abandonner la pensée quantitative.