キャリブレーション・トレーニング
自信と正確さの間のフィードバックループを構築する
よくキャリブレートされた自信をどうやって鍛えるか?
キャリブレーション・トレーニングは、述べた自信のレベルを実際の正確さに一致させることを教えます。『70%確信している』と言うなら、そう言った主張のおよそ70%は正しいはずです。テトロックの予測研究と確率トレーニングの研究は、キャリブレーションが練習とフィードバックによって鍛えられるものであることを示しています――ここでの証拠は具体的で再現可能です。
ほとんどの人は特定の方向にキャリブレーションが悪い状態にあります。自分が得意だと感じる領域では過信し、新しい領域では自信不足で、まれな出来事の確率を表現するのが体系的に下手です。キャリブレーション・トレーニングは、述べた自信と実際の正確さの間のギャップを測定し、フィードバックでそれを閉じる意図的な実践です。それは不確実であることについてではありません――正確に不確実であることについてです。以下はそのトレーニングを機能させる実践です。
実践法
- 信頼区間の推定を練習する
事実に関する量の範囲を推定し、真の値がその範囲内に収まる頻度を確認する。
- 採点された予測の記録を維持する
明示的な確率をつけて予測を記録し、それが解決したときに採点する。
- 自分が最も過信している具体的な領域を特定する
キャリブレーションは領域固有である――自信が正確さを最も超えている場所を見つける。
- 直感ではなく基準率に自信レベルを固定する
自信の推定値を、感じている自信からではなく、このタイプの予測の歴史的な的中率から始める。
- 予測をする前に解決基準に事前コミットする
結果が起こる前に、何が『自分は正しかった』と数えるかを正確に定義する。
- 低リスクのトリビアと年鑑の質問でキャリブレーションの反復練習を積む
事実に関するトリビアの質問をキャリブレーションの練習の場として使う。結果は即座に解決し、リスクはゼロである。
- 不確実性(定量化可能)と無知(定量化不可能)を区別する
確率を割り当てられるときと、状況があまりにも新しく数字が捏造されたものになるときを知る。