エビデンスを探す前に分析を構造化する

何を探しているのか、何がエビデンスとしてカウントされるのかを、探索を始める前に定義する。

Why it works

確証バイアスは探索の中で強く働きます——探索クエリの枠組み、選ばれるデータベース、最初にクリックされる結果——これらすべては事前の仮説によって形作られます。何が仮説を支持し、何が反証するのか、どの情報源が権威あるものと見なされるかをあらかじめ具体的に定めることは、探索プロセスの動機づけられたフィルタリングへの脆弱性を減らします。これは、オープンエンドな探索を、あらかじめ登録された検証へと変換します。

How to do it

1. どんな問いを調査する前にも、「Xを見つければ仮説は確証されたと考える。Yを見つければ反証されたと考える」と書く。
2. 最も信頼できる3つか4つの情報源をリストアップする——確証しやすいものではなく。
3. たまたま出会った知見だけでなく、構造化された検索の結果を報告することにコミットする。
4. 設計通りに検索を行い、それから評価する。

エビデンス

科学における事前登録——データ収集の前に仮説と分析計画にコミットすること——は確実に偽陽性の割合を減らし、探索前の構造化が制度レベルで効果的な反バイアス介入であることを実証しています。 (observational)

事前登録は明確なアウトカムを持つ科学的研究の中で機能する。非公式な日常のエビデンス探索を同じように厳密に事前登録することはより難しい。

出典

• Nosek et al. (2018), the preregistration revolution, PNAS
• Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606.

よくある間違い

検索結果がすでに何が「重要」に見えるかを形作った後で、検索を始めてから仮説を特定してしまうこと——結果を知った後で仮説を立てる（HARKing）の巧妙な形である。