新しい証拠が入るたびに予測を段階的に更新する

予測を、矛盾する証拠にも生き残るコミットメントとしてではなく、新しい証拠ごとに変わるべき確率として扱う。

Why it works

証拠に応じて更新されない予測は予測ではない——それは仮面をかぶったコミットメントだ。更新の仕組みはベイズ的だ。新しい証拠は確率をシフトさせ、そのシフトの大きさはその証拠の診断的価値に比例する。失敗パターンは、更新が遅すぎる(元の見積もりにアンカリングし続ける)か、更新が激しすぎる(直近の目立つ出来事を過大評価する)かのどちらかだ。

How to do it

1. 重要な予測については、定期的な確認の頻度を設定する——短期見通しなら毎週、長期見通しなら毎月。
2. 確認のたびに「前回から何の証拠が入り、それはどちらの方向を示しているか」を問う。
3. たとえ小さくても数値での更新を行い、保留か移動かの判断が記録に残るようにする。
4. 自分の更新パターンを時間をかけて追跡する——体系的な更新不足や更新過剰は診断上の手がかりになる。

エビデンス

テットロックの予測トーナメント研究では、優れた予測者は平均的な予測者よりも頻繁かつ小刻みに予測を更新し、その結果として較正を維持し続けることが分かった。ベイズ更新はこの行動の背後にある形式的な枠組みだ。 (observational)

実際には、既存の見解を裏づける証拠に対しては人はより素直に更新する傾向がある。規律あるベイズ更新には、この確証バイアスの非対称性に抵抗することが必要であり、それは一度きりの技術ではなく持続的な行動上のコミットメントだ。

出典

• Tetlock & Gardner (2015), Superforecasting
• Tetlock (2005), Expert Political Judgment

よくある間違い

物語(「状況が変わった」)は更新するが、確率の見積もりは更新しないこと——その結果、その更新が適切に較正されていたかどうかを読み取れる記録が残らない。