低リスクのトリビアと年鑑の質問でキャリブレーションの反復練習を積む
事実に関するトリビアの質問をキャリブレーションの練習の場として使う。結果は即座に解決し、リスクはゼロである。
Why it works
キャリブレーションのスキルは、他のどんなスキルとも同様に、フィードバックを伴う反復を必要とします。現実世界の決定はゆっくりと解決し、正直な採点を歪める高い感情的な利害があり、急速な反復には頻度が低すぎます。トリビアと年鑑の質問は、感情的な干渉のない領域で高頻度、即座のフィードバックの練習を提供します。それが、高リスクの予測に転移する根底にあるメタ認知的スキルの理想的なトレーニング環境にします。
How to do it
- 信頼区間の推定を練習するために、キャリブレーショントレーニングツールや年鑑を使う(例:OpenBook、Calibrate Your Uncertaintyのブラウザツール)。
- 統計的に意味のあるフィードバックを生成するため、セッションごとに少なくとも20〜30問を目指す。
- 各セッション後、述べた確率が的中率から最も逸脱した箇所を見直す。
- セッションのキャリブレーションのずれのパターンを、現実世界の予測のためのルールに変換する。
エビデンス
リヒテンシュタインとフィッシュホフ、その後の研究者は、フィードバックを伴う確率トレーニングの演習が過信を減らし、その改善が追跡調査を伴う対照研究で観察可能であることを発見しました。現実世界の領域への転移は部分的ですが存在します。 (observational)
トリビアトレーニングからのキャリブレーションの改善は、異なる構造、感情的な重み、フィードバックの遅延を持つ領域に完全には一般化しません。このトレーニングは基盤であり、完全な解決策ではありません。
出典
- Lichtenstein & Fischhoff (1980), "Training for calibration," Organizational Behavior and Human Performance
- Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149–171.
よくある間違い
トリビアのキャリブレーションでの強いパフォーマンスを、重大な領域での良いキャリブレーションの証拠として扱うこと――実際の決定の感情的・動機的な汚染は、トリビアでは存在しません。
IX Coach でこれを実践する
More practices for キャリブレーション・トレーニング
- 信頼区間の推定を練習する
事実に関する量の範囲を推定し、真の値がその範囲内に収まる頻度を確認する。
- 採点された予測の記録を維持する
明示的な確率をつけて予測を記録し、それが解決したときに採点する。
- 自分が最も過信している具体的な領域を特定する
キャリブレーションは領域固有である――自信が正確さを最も超えている場所を見つける。
- 直感ではなく基準率に自信レベルを固定する
自信の推定値を、感じている自信からではなく、このタイプの予測の歴史的な的中率から始める。
- 予測をする前に解決基準に事前コミットする
結果が起こる前に、何が『自分は正しかった』と数えるかを正確に定義する。
- 不確実性(定量化可能)と無知(定量化不可能)を区別する
確率を割り当てられるときと、状況があまりにも新しく数字が捏造されたものになるときを知る。