予測を追跡することで確率の較正を練習する

自分の予測に明示的な確率の見積もりを割り当て、それが正しい率で実現するかどうかを追跡する。

Why it works

較正——表明された確信度と実際の正確さの一致——は学習可能なスキルである。時間をかけて予測を追跡し、70%の確信を持った主張が実際にどれくらいの頻度で実現するかを観察する人は、体系的な過信または過小な確信を修正するフィードバックループを発達させる。このフィードバックがなければ、鮮明な情報によって生み出される確信の感覚は修正されないまま持続する。

How to do it

1. 何か予測をするたびに、パーセンテージの確率を割り当てる。「Xが起こる確率は70%だと思う」。
2. 予測と結果を記録する。
3. 20〜30回の予測の後、較正を確認する。70%の予測は約70%の頻度で実現しているか。

エビデンス

較正研究(テトロックによるスーパーフォーキャスターに関する研究を含む)は、明示的な確率で予測を追跡することが、フィードバックによる誤り修正を通じて時間の経過とともに正確さを大きく改善することを示している。 (observational)

出典

• Tetlock & Gardner (2015), Superforecasting — calibration training and improvement across thousands of predictions

よくある間違い

具体的な数値ではなく曖昧な確率(「かなり起こりそう」)を割り当てること——これは予測が反証不可能になるため、意味のある較正の確認を妨げる。