自分が最も過信している具体的な領域を特定する

キャリブレーションは領域固有である――自信が正確さを最も超えている場所を見つける。

Why it works

人は一様に過信しているわけではありません。彼らは典型的に、経験はあるがフィードバックが限られている領域、理解している専門用語を使う領域、公の場でコミットメントをした領域で過信します。どの領域が最悪のキャリブレーションを生み出すかを診断することは、デバイアシングの努力を最大のリターンが得られる場所に集中させます。

How to do it

1. 領域別に整理された予測記録を見直す(仕事、人間関係、自己予測、市場の見通しなど)。
2. 各領域について、述べた平均的な自信と実際の的中率の間のギャップを計算する。
3. キャリブレーションの悪さで領域をランク付けする。最大のギャップに最も多くの是正の注意を払う。
4. キャリブレーションの悪い領域では、次のようなルールを作る。『この領域では最初の見積もりをX%割り引く。』

エビデンス

過信に関する研究は、それが遅延したフィードバックを伴う馴染みのある複雑な領域(財務予測、医療診断)で最も強く、即座で明確なフィードバックのある領域(天気予報)で最も弱いことを発見しています。領域固有のデバイアシングはこの構造から示唆されます。 (observational)

過信の領域を特定するには正直な結果の追跡が必要です。それがなければ、快適に感じられる領域がまさに検証されないままの領域になります。

出典

• Lichtenstein & Fischhoff (1977), "Do those who know more also know more about how much they know?", Organizational Behavior and Human Performance
• Lichtenstein, S., & Fischhoff, B. (1977). Do those who know more also know more about how much they know? Organizational Behavior and Human Performance, 20(2), 159–183.
• Murphy, A. H., & Winkler, R. L. (1977). Reliability of subjective probability forecasts of precipitation and temperature. Journal of the Royal Statistical Society: Series C (Applied Statistics), 26(1), 41–47.

よくある間違い

ある領域での専門性が良いキャリブレーションを意味すると仮定すること――専門性は事実想起の正確さを予測しますが、多くの研究においてメタ認知的キャリブレーションとは相関していません。