Structurer l'analyse avant de chercher des preuves
Définissez ce que vous cherchez et ce qui compterait comme preuve avant de commencer votre recherche.
Why it works
Le biais de confirmation opère fortement dans la recherche : le cadrage d'une requête de recherche, les bases de données choisies, le premier résultat cliqué — tout est façonné par l'hypothèse antérieure. Spécifier à l'avance quelle preuve compterait pour et contre l'hypothèse, et quelles sources feraient autorité, réduit la susceptibilité du processus de recherche au filtrage motivé. Cela convertit une exploration ouverte en un test pré-enregistré.
How to do it
- Avant de rechercher toute question, écrivez : « Je considérerai mon hypothèse confirmée si je trouve X ; je la considérerai infirmée si je trouve Y. »
- Listez les trois ou quatre sources qui seraient les plus crédibles — pas celles les plus susceptibles de confirmer.
- Engagez-vous à rapporter le résultat de la recherche structurée, pas seulement les constats que vous avez rencontrés par hasard.
- Effectuez la recherche telle que conçue, puis évaluez.
Données probantes
La pré-inscription en science — s'engager sur des hypothèses et des plans d'analyse avant la collecte de données — réduit de façon fiable le taux de faux positifs, démontrant que la structuration avant la recherche est une intervention anti-biais efficace au niveau institutionnel. (observational)
La pré-inscription fonctionne dans les études scientifiques avec des résultats clairs ; la recherche de preuves informelle du quotidien est plus difficile à pré-enregistrer de la même manière rigoureuse.
Sources
- Nosek et al. (2018), the preregistration revolution, PNAS
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606.
Erreur fréquente
Spécifier l'hypothèse après avoir commencé la recherche, quand les résultats de recherche ont déjà façonné ce qui semble « important » — une forme subtile de HARKing (formuler l'hypothèse après avoir connu les résultats).
Pratiquez cela avec IX Coach
More practices for Le biais de confirmation : voir ce que l'on s'attend à voir
- Envisager délibérément l'hypothèse opposée
Pour toute croyance que vous testez, générez explicitement le meilleur argument en faveur du point de vue opposé.
- Réaliser un pré-mortem avant de s'engager dans un plan
Imaginez que le plan a déjà échoué et demandez-vous ce qui a mal tourné.
- Rechercher délibérément des preuves infirmantes
Une preuve infirmante est une information qui contredit ce que vous croyez actuellement — pour toute croyance importante, trouvez et lisez délibérément sa meilleure version reconnue.
- Inviter un collaborateur adversarial
Trouvez quelqu'un dont l'a priori authentique est l'opposé du vôtre, et travaillez ensemble sur les mêmes preuves.
- Tenir un journal de suivi des croyances horodaté
Enregistrez vos croyances et niveaux de confiance avant l'arrivée des preuves, afin de voir si vous avez réellement révisé votre position.
- Soumettre votre plan à une équipe rouge en revue adversariale formelle
Assignez à quelqu'un le rôle explicite de trouver chaque façon dont votre plan pourrait être erroné ou échouer.
Concepts associés
- La pensée bayésienne : comment mettre à jour ses croyances rationnellement
Holding beliefs as probabilities and updating them when evidence arrives
- Système 1, Système 2, rendus utilisables
Two systems, the biases they create, and when to slow down
- Modèles mentaux : l'approche du treillis de Charlie Munger
Building the multi-disciplinary toolkit that lets you see what single-discipline thinkers miss
- L'heuristique de disponibilité : pourquoi ce qui marque semble probable
The mental shortcut that makes vivid and recent feel probable — and the practices that correct for it