自分の領域予測の正確さを追跡する

自分が専門知識を主張する領域で予測したことを記録し、それを採点する。

Why it works

専門家はしばしば良い結果を自分の専門知識に過剰に帰属させ、悪い結果を状況のせいにする——自信過剰を維持する自己奉仕的な帰属パターンである。実際の予測を追跡し客観的に採点することは、帰属によって書き換えられない記録を作ることでこれを断ち切る。本当にスキルを持つ領域では、記録がそれを裏付ける。自信が誇張されている領域では、記録がそれを示す。

How to do it

1. 自分の仕事や専門知識の領域で、市場の結果、プロジェクトのタイムライン、誰かがどう反応するかといった具体的な予測を記録し始める。
2. 結果を知る前に、各予測に自信のレベルを割り当てる。
3. 結果が分かったら、各予測を正解か不正解として採点する。
4. 20以上の予測の後、自信レベル別の正解率を計算する——較正されているなら、80%自信のある予測はおよそ80%の確率で正しいはずだ。

エビデンス

予測の正確さを追跡することは、誰が本物の専門知識を持ち、誰がノイズに基づく自信を持っているかを識別するために形式的な予測研究で使われる方法である。それが両者を分ける経験的なテストである。 (observational)

テトロックの研究は地政学的な予測についてのものである。個人的・専門的な領域への転移はもっともらしいが、同じ規模では直接試験されていない。

出典

• Tetlock (2005), Expert Political Judgment: How Good Is It? How Can We Know?

よくある間違い

自信のある予測だけを選ぶこと——これは偏ったサンプルを生む。ポイントは、勝つと予想したものだけでなく、その領域のすべての予測を追跡することだ。