確信度予測を追跡することで較正を練習する

あなたの「80%確信している」信念は、約80%の頻度で実現するはずである——それを確認する。

Why it works

較正とは表明された確信度と実際の正確さとの一致である。ほとんどの人は過信している。彼らは主張されるよりもはるかに少ない頻度で真である信念に高い確率を割り当てる。意図的な較正練習——予測し、その後結果を追跡すること——は、時間をかけて確信度推定の正確さを意味的に改善することが示されている。それが、直感には通常欠けているフィードバックループを提供するからである。

How to do it

1. 毎週、5〜10個の予測を明示的な確信度とともに書き留める(例:「プロジェクトが予定通り出荷される確信度は75%」)。
2. 結果が分かったら、正しかったか間違っていたかを記録する。
3. 毎月、それぞれの確信度バケットについて較正を計算する。あなたの70%の予測のうちどれくらいの割合が実現したか。
4. そのパターンに基づいて確信度レベルを調整する。80%の予測が60%の頻度でしか実現しないなら、あなたは過信している。

エビデンス

較正訓練は、確率的予測の正確さを確実に改善することが記録されている数少ない介入のひとつである。フィル・テトロックと同僚らによるスーパーフォーキャスターに関する研究は、明示的な較正練習が最も正確な予測者を区別する特徴のひとつであることを発見した。 (observational)

スーパーフォーキャスター研究は地政学的・マクロ経済的な予測に焦点を当てている。個人的・職業的な決定への一般化はもっともらしいが、あまり直接的には研究されていない。

出典

• Tetlock & Gardner (2015), Superforecasting, Crown Publishers
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171.
• Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological strategies for winning a geopolitical forecasting tournament. Psychological Science, 25(5), 1106-1115.

よくある間違い

数値ではなく曖昧な言葉(「たぶん」「起こりそう」)を使うこと——これにより、較正が改善したかどうかを確認することが不可能になる。