Die Analyse strukturieren, bevor Sie nach Evidenz suchen
Definieren Sie, wonach Sie suchen und was als Evidenz zählen würde, bevor Sie mit der Suche beginnen.
Why it works
Der Bestätigungsfehler wirkt stark bei der Suche: Die Formulierung einer Suchanfrage, die gewählten Datenbanken, das erste angeklickte Ergebnis – alles wird von der Vorannahme geprägt. Im Voraus festzulegen, welche Evidenz für und gegen die Hypothese zählen würde und welche Quellen maßgeblich wären, reduziert die Anfälligkeit des Suchprozesses für motivierte Filterung. Es verwandelt eine offene Erkundung in einen vorregistrierten Test.
How to do it
- Schreiben Sie vor der Recherche zu einer Frage: „Ich werde meine Hypothese als bestätigt betrachten, wenn ich X finde; als widerlegt, wenn ich Y finde.“
- Listen Sie die drei oder vier glaubwürdigsten Quellen auf – nicht die, die am wahrscheinlichsten bestätigen.
- Verpflichten Sie sich, das Ergebnis der strukturierten Suche zu berichten, nicht nur die Befunde, auf die Sie zufällig gestoßen sind.
- Führen Sie die Suche wie geplant durch und bewerten Sie dann.
Evidenz
Präregistrierung in der Wissenschaft – Hypothesen und Analysepläne vor der Datenerhebung festzulegen – reduziert zuverlässig die Rate falsch-positiver Befunde, was zeigt, dass Struktur-vor-Suche eine wirksame Anti-Bias-Intervention auf institutioneller Ebene ist. (observational)
Präregistrierung funktioniert bei wissenschaftlichen Studien mit klaren Ergebnissen; informelle alltägliche Evidenzsuche ist schwerer auf dieselbe rigorose Weise vorzuregistrieren.
Quellen
- Nosek et al. (2018), the preregistration revolution, PNAS
- Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606.
Häufiger Fehler
Die Hypothese erst nach Beginn der Suche zu formulieren, wenn die Suchergebnisse bereits geprägt haben, was „wichtig“ erscheint – eine subtile Form des HARKing (Hypothesenbildung, nachdem Ergebnisse bekannt sind).
Übe das mit IX Coach
More practices for Bestätigungsfehler: Sehen, was Sie erwarten zu sehen
- Bewusst die gegenteilige Hypothese in Betracht ziehen
Erzeugen Sie für jede Überzeugung, die Sie prüfen, explizit das stärkste Argument für die gegenteilige Sichtweise.
- Ein Pre-Mortem durchführen, bevor Sie sich einem Plan verpflichten
Stellen Sie sich vor, der Plan sei bereits gescheitert, und fragen Sie, was schiefgelaufen ist.
- Bewusst nach widerlegenden Belegen suchen
Widerlegende Belege sind Informationen, die dem widersprechen, was Sie derzeit glauben – suchen und lesen Sie für jede wichtige Überzeugung bewusst die angesehenste Version davon.
- Einen adversariellen Mitstreiter einladen
Finden Sie jemanden, dessen echte Vorannahme das Gegenteil Ihrer ist, und arbeiten Sie gemeinsam an derselben Evidenz.
- Ein zeitgestempeltes Überzeugungs-Protokoll führen
Notieren Sie Ihre Überzeugungen und Konfidenzniveaus, bevor Belege eintreffen, damit Sie sehen können, ob Sie tatsächlich aktualisiert haben.
- Ihren Plan mit einer formalen adversariellen Überprüfung red-teamen
Weisen Sie jemandem die explizite Rolle zu, jeden Weg zu finden, auf dem Ihr Plan falsch sein oder scheitern könnte.
Verwandte Konzepte
- Bayesianisches Denken: Wie man Überzeugungen rational aktualisiert
Holding beliefs as probabilities and updating them when evidence arrives
- Schnelles Denken, langsames Denken, nutzbar gemacht
Two systems, the biases they create, and when to slow down
- Mentale Modelle: Charlie Mungers Latticework-Ansatz
Building the multi-disciplinary toolkit that lets you see what single-discipline thinkers miss
- Die Verfügbarkeitsheuristik: Warum sich Einprägsames wahrscheinlich anfühlt
The mental shortcut that makes vivid and recent feel probable — and the practices that correct for it