不確実性(定量化可能)と無知(定量化不可能)を区別する
確率を割り当てられるときと、状況があまりにも新しく数字が捏造されたものになるときを知る。
Why it works
ナイトのリスク(定量化可能な不確実性)と不確実性(定量化不可能)の区別は実際に重要です。ある出来事に60%の確率を割り当てるには、基準クラスかモデルが必要です。どちらも存在しないとき、その数字は統計として着飾った感覚です。この二つを区別することは、偽の精度が本物の無知を覆い隠すことを防ぎ、正直な応答を促します。『これに較正された数字をつけるには十分な情報がない。』
How to do it
- 確率を割り当てる前に問う。『これは何の基準クラスやモデルに基づいているか?』
- 一つも名指しできない場合は、その見積もりを較正された確率ではなく『直感/未定量化』とラベル付けする。
- グループの場面では、偽の精度による決定を防ぐため、議論が『定量化不可能』な領域にあるときは明示的にフラグを立てる。
- 本当に新規な状況については、点推定の確率ではなく、シナリオと不測の事態に焦点を当てる。
エビデンス
ナイト(1921)はリスクと不確実性を区別しました。エルズバーグ(1961)は、期待値が等しくても、人々が定量化不可能な不確実性よりも定量化可能なリスクを好むことを実証しました――これが『わからない』と言うことに人々を不快にさせる『曖昧さ回避』です。この区別は概念的で基礎的であり、この特定の実践の直接的な証拠はメカニズム的です。 (mechanistic)
実際には、ほとんどすべての現実の状況は、純粋に定量化可能なリスクと完全な不可知性の間のどこかに位置します。この分類は程度と判断の問題です。
出典
- Knight (1921), Risk, Uncertainty and Profit
- Ellsberg (1961), "Risk, ambiguity, and the Savage axioms," Quarterly Journal of Economics
よくある間違い
合理性のパフォーマンスとしてすべての質問に確率を割り当てること――本当に知り得ない質問に対する自信のある50%は、単に『わからない』と言うよりも悪いキャリブレーションです。
IX Coach でこれを実践する
More practices for キャリブレーション・トレーニング
- 信頼区間の推定を練習する
事実に関する量の範囲を推定し、真の値がその範囲内に収まる頻度を確認する。
- 採点された予測の記録を維持する
明示的な確率をつけて予測を記録し、それが解決したときに採点する。
- 自分が最も過信している具体的な領域を特定する
キャリブレーションは領域固有である――自信が正確さを最も超えている場所を見つける。
- 直感ではなく基準率に自信レベルを固定する
自信の推定値を、感じている自信からではなく、このタイプの予測の歴史的な的中率から始める。
- 予測をする前に解決基準に事前コミットする
結果が起こる前に、何が『自分は正しかった』と数えるかを正確に定義する。
- 低リスクのトリビアと年鑑の質問でキャリブレーションの反復練習を積む
事実に関するトリビアの質問をキャリブレーションの練習の場として使う。結果は即座に解決し、リスクはゼロである。