信頼区間の推定を練習する

事実に関する量の範囲を推定し、真の値がその範囲内に収まる頻度を確認する。

Why it works

90%の信頼区間は、真の値を90%の確率で含むはずです。ほとんどの人の90%区間は狭すぎます。実際の値は30〜50%の頻度でその範囲外に落ち、精度に対する深刻な過信を反映しています。即座のフィードバックを伴う区間推定の練習は、『自分がどれだけ知っているか』という内的感覚を再キャリブレートし、それが決定における不確実性のより正直な表現に転移します。

How to do it

1. キャリブレーションクイズを受ける。事実に関する各質問について、真の答えを含むと90%確信できる範囲を述べる。
2. 一連の質問の後、真の値がどのくらいの頻度で範囲内にあったかを採点する。
3. 90%区間が90%未満の頻度で正しい答えを含む場合、次のラウンドでは範囲を広げる。
4. 90%の区間が実際に90%の頻度で当たるようになるまで、毎週繰り返す――これがキャリブレーションである。

エビデンス

確率トレーニングに関する複数の研究は、フィードバックを伴う信頼区間の演習がキャリブレーションテストにおける過信を有意に減らし、その効果が数週間持続することを発見しました。これはより直接的に裏付けられているデバイアシングの形態の一つです。 (observational)

トレーニング課題でのキャリブレーションの改善は、新しい領域に完全には転移しません。キャリブレーションは部分的に領域固有であり、信頼できるものであるためには各領域でのフィードバックが必要です。

出典

• Lichtenstein, Fischhoff & Phillips (1982), "Calibration of subjective probabilities," in Judgment Under Uncertainty: Heuristics and Biases
• Tetlock & Gardner (2015), Superforecasting — calibration training modules
• Alpert, M., & Raiffa, H. (1982). A progress report on the training of probability assessors. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 294–305). Cambridge University Press.
• Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of probabilities: The state of the art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 306–334). Cambridge University Press.

よくある間違い

識別することを学ぶのではなく、すべての範囲を一律に広げること――よくキャリブレートされた人は、本当に何かを知っているときは狭い範囲を持ち、知らないときは広い範囲を持ちます。一律に広い範囲ではありません。