多くの予測にわたって自分の較正を追跡する
何十もの予測にわたって、自分の確信度レベルを結果と照らし合わせて採点し、系統的な偏りを見つける。
Why it works
単一の決断は、あなたの決断の質についてほとんど何も教えてくれません——結果はノイズが多すぎます。較正——述べられた確信度と実際の正確さの一致——は、多くの予測にわたってのみ見えるようになります。もしあなたが20の決断にわたって「80%確信」と言っていて、実際に正しかったのが50%だけなら、あなたはその確信度レベルにおいて系統的に過信しており、ジャーナルはそれを見るためのデータをあなたに与えます。
How to do it
- それぞれの決断を記録するとき、期待する結果に確率を割り当てる（例：70%）。
- 結果が確定した後、その結果が予測と一致したかどうかを記録する。
- 20〜30エントリー後、確信度帯（50〜60%、70〜80%、90%以上）で予測をグループ化し、それぞれの帯での正確さの割合を計算する。
- もしあなたの正確さが確信度に一貫して遅れているなら、その領域における確信度レベルを下方修正する。
エビデンス
較正訓練——確率的な予測を行い、それを結果と照らし合わせて採点すること——は、実際に予測の正確さを改善することが示された数少ない介入の一つです。スーパーフォーキャスティング研究は、明示的な追跡とフィードバックが過信を狭めることを示しました。リヒテンシュタインとフィッシュホフは、結果フィードバックを伴う短い訓練でさえ、測定可能に較正を改善することを示し、確信度と正確さのギャップが固定されたものではなく訓練可能であることを確立しました。 (observational)
スーパーフォーキャスティングのエビデンスは地政学的な予測トーナメントから来ています。個人的・専門的な決断への転移はもっともらしいですが、日常生活の決断における効果量は直接確立されていません。較正は練習とともに改善しますが、過信は経験豊富な実践者においてさえ持続します。
出典
- Tetlock & Gardner (2015), Superforecasting: The Art and Science of Prediction
- Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149–171.
- Mellers, B., Stone, E., Murray, T., Minster, A., Rohrbaugh, N., Bishop, M., Chen, E., Baker, J., Hou, Y., Horowitz, M., Ungar, L., & Tetlock, P. (2015). Identifying and cultivating superforecasters as a method of improving probabilistic predictions. Perspectives on Psychological Science, 10(3), 267–281.
- Chang, W., Chen, E., Mellers, B., & Tetlock, P. (2016). Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournaments. Judgment and Decision Making, 11(5), 509–526.
よくある間違い
確率を割り当てずに決断を記録してしまうこと——これは較正の追跡を不可能にし、統計的な記録ではなく、単なる物語的な記録しか残らなくなる。