予測の精度を、練習で向上するスキルとして扱う
予測の誤りをパフォーマンスのフィードバックとして受け止め、予測が無意味だという証拠としては受け止めない。
Why it works
スーパー予測者は自分のスコア結果を判決ではなく診断として扱います。ある領域でキャリブレーションがずれている時、彼らはなぜかを調査します——参照クラスが間違っていたのか、証拠の重み付けがずれていたのか、見落とした構造的な依存関係があったのか?このフィードバック志向は、意図的な練習を単なる経験から区別するのと同じメカニズムです。それがなければ、反復は精度を伴わない自信を生みます。
How to do it
- 予測が判明したらスコア化する:表明した確率を二値の結果と比較する。
- 大きく外した予測については、簡潔な事後分析を行う:過小評価していた最も強い要因は何だったか?
- 誤りのパターンを追跡する:特定の領域で過大予測、別の領域で過小予測していないか?
- キャリブレーション(単なる精度ではなく)についての学習目標を設定する——「私の70%予測が70%の頻度で当たるようにしたい」。
エビデンス
テトロックの研究では、スコア化からの意図的な学習に取り組んだ予測者——特にフィードバックを伴うチームで練習した者——が、時間をかけて最も改善を示すことがわかりました。この成長の軌跡は意図的な練習の研究と一致しています。 (observational)
キャリブレーションの改善は遅く文脈依存的です。大きな改善は、フィードバックが密なトーナメント条件で見られました。フィードバックがまばらな現実世界の意思決定は、より遅い向上を生みます。
出典
- Tetlock & Gardner (2015), Superforecasting, Chapter 10
よくある間違い
劇的な一度の失敗を使って予測が信頼できないと結論づけること——外れの特定のメカニズムを調査するのではなく——一つの誤りはデータであり、反証ではない。