明示的な確率で考え、伝える
曖昧な言葉(「おそらく」「たぶん」)を数値の確率に置き換える。
Why it works
「おそらく」のような言葉は体系的に曖昧です——ある人の「おそらく」は別の人にとって55%であり、また別の人にとっては85%です。数値の確率は具体性を強制し、予測をスコア化可能にし、フィードバックループを作ります。数字がなければ、自分がキャリブレーションされているかどうかを知る信号がありません。数字を名付ける規律はまた、本物の不確実性の説明責任を強制します——95%にコミットしなければならない時、「ほぼ確実」とは言えません。
How to do it
- 予測をする時、パーセンテージとして述べる:「これが第3四半期までに出荷される可能性は65%だと思う」。
- 結果が判明した時にスコア化できるよう、その数字を予測とともに記録する。
- 誰かが口頭で確率を言ったら、問う:「それにどんな数字をつけますか?」
- 四半期ごとに古い予測とその数字を見直し、自分のキャリブレーションを計算する。
エビデンス
テトロックの予測研究では、スーパー予測者は習慣的に数値の確率を使い、口頭の説明を使う専門家よりも著しく良くキャリブレーションされていることがわかりました。細かい粒度の確率(50/70/90だけでなく)を使う実践は、トーナメントにおいてより高い精度と関連していました。 (observational)
トーナメントデータにおける確率使用と精度の相関です。習慣が本当の改善を生むには、フィードバックを伴うキャリブレーション訓練が必要です。
出典
- Tetlock & Gardner (2015), Superforecasting
- Tetlock (2005), Expert Political Judgment
よくある間違い
本当にキャリブレーションするのではなく、丸い数字(50%、70%、90%)をデフォルトとして使うこと——「五分五分だと思う」はしばしば見積もりではなくヘッジである。