過去の自分の予測を採点してアウトサイド・ビューの使い方を較正する

予測ログをつけて採点する——どこで過信または過小評価していたかについてのフィードバックなしに較正は改善できない。

Why it works

較正とは、表明された自信と実際の精度との間の一致のことである。ほとんどの人は自分の予測を追跡しないため、自分がどれだけ較正が取れているかを知ることは決してない。このフィードバックループがなければ、アウトサイド・ビューの採用は良い意図のままであり、スキルにはならない。採点することは、システムに読み取り可能な誤差シグナルを生成させ、本物の改善のための条件を作る。

How to do it

1. 確率の見積もりを添えて重要な予測を記録し始める：「これが3か月未満で終わる確率は70%」。
2. 結果が判明したときに記録するようカレンダーにリマインダーを設定する。
3. 時間をかけて自分の較正を計算する：70%の確率だと言ったすべてのことについて、おおよそ70%が実際に起きたか？
4. 体系的に過信または過小評価している領域を特定し、それに応じて基準率のアンカリングを調整する。

エビデンス

テトロックの予測トーナメント研究は、予測を追跡し採点することが、スーパー予測者とそれ以外を分けるフィードバックメカニズムであることを発見した——追跡し振り返った人々は大幅に改善し、そうしなかった人々は停滞した。 (observational)

較正の採点は、統計的に意味を持つために十分な量の採点済み予測を必要とする。個人の人生の決断は短期間で明確な較正曲線を生成できるほど頻繁には結論が出ない。

出典

• Tetlock & Gardner (2015), Superforecasting

よくある間違い

明示的な確率ではなく自然言語で予測を記録してしまい、事後的な較正を不可能にすること——「たぶんそうなると思った」は採点できない。