予測をする前に解決基準に事前コミットする
結果が起こる前に、何が『自分は正しかった』と数えるかを正確に定義する。
Why it works
曖昧な予測はほとんどどんな結果にも生き残ります。『複雑になるかもしれないと言った』は災難でも成功でも一致します。この結果の柔軟性は、キャリブレーションのフィードバックが決して届かないようにする動機づけられた推論の一形態です。具体的で検証可能な解決基準に事前コミットすることは逃げ道を閉じます。予測は正しく解決するかしないかのどちらかであり、自分が『本当に』何を意味していたかを事後的に再構築することはできません。
How to do it
- 予測を記録するとき、同じエントリーに解決基準を書く。『Y日までにXが起これば、これは正しい。』
- 基準を測定可能にする。『50%以上の市場シェア』『Q4までに出荷』であり、『まあまあうまくいく』ではない。
- 予測がなされた後に基準を修正しない――修正こそが、あなたが収集しようとしている測定そのものである。
- 『無効』の条件を含める。何が予測を不確定として数えるか。
エビデンス
グッド・ジャッジメント・プロジェクトはすべての予測に明示的な解決基準を要求しました。この構造的な要件は、そのキャリブレーション測定が意味のあるものであった重要な理由として評価されています。この実践は、別途試験された介入というよりも臨床的・制度的なものです。 (clinical)
一部の現実世界の出来事はクリーンな二項の解決に抵抗します。解決基準の演習は、近い将来の具体的な予測に対して最も強力であり、長期の複雑な結果に対してはそれほどクリーンではありません。
出典
よくある間違い
がっかりする結果の後に、『私は大まかな方向性については正しかった』を事後的な解決基準として書くこと――これは後知恵の再フレームであり、採点ではありません。
IX Coach でこれを実践する
More practices for キャリブレーション・トレーニング
- 信頼区間の推定を練習する
事実に関する量の範囲を推定し、真の値がその範囲内に収まる頻度を確認する。
- 採点された予測の記録を維持する
明示的な確率をつけて予測を記録し、それが解決したときに採点する。
- 自分が最も過信している具体的な領域を特定する
キャリブレーションは領域固有である――自信が正確さを最も超えている場所を見つける。
- 直感ではなく基準率に自信レベルを固定する
自信の推定値を、感じている自信からではなく、このタイプの予測の歴史的な的中率から始める。
- 低リスクのトリビアと年鑑の質問でキャリブレーションの反復練習を積む
事実に関するトリビアの質問をキャリブレーションの練習の場として使う。結果は即座に解決し、リスクはゼロである。
- 不確実性(定量化可能)と無知(定量化不可能)を区別する
確率を割り当てられるときと、状況があまりにも新しく数字が捏造されたものになるときを知る。