自分の見積もりを追跡し較正する

可能なときは自分のフェルミ推定と実際の数値を比較し、そのギャップを使って今後の見積もりを改善する。

Why it works

フェルミ推定のスキルはフィードバックループを通じて築かれます――見積もりと実際の値を比較することは、意識することで修正できる系統的なバイアス(たとえば人口を一貫して過小評価する、あるいは割合を過大評価するなど)を明らかにします。フィードバックがなければ推定スキルは直感のレベルで頭打ちになります。フィードバックがあれば、専門家並みの較正に向けて測定可能なほど改善します。

How to do it

1. 行った見積もりと、実際の値が分かったときの記録をログに残す。
2. 系統的な方向性のバイアスを特定する――特定の種類の量について、あなたの見積もりは一貫して高いか低いか。
3. 永続的なバイアスが特定された領域には補正係数を適用する。
4. 四半期ごとにログを見直し、較正が改善した部分としていない部分に気づく。

エビデンス

予測訓練の研究は一貫して、予測の正確さに関するフィードバックが構造化された振り返りと組み合わさることで、著しくよく較正された推定者を生み出すことを示しています。スーパーフォーキャスターの優位性は、予測結果に基づいて見直し更新するという彼らの実践によってかなりの部分が説明されます。 (observational)

較正の改善には、フィードバックが統計的に意味を持つだけの十分な数の予測がその領域で必要です。低頻度の領域では較正の向上は遅くなります。

出典

• Tetlock & Gardner (2015), Superforecasting — tracking records as the engine of calibration improvement
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171.
• Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological Strategies for Winning a Geopolitical Forecasting Tournament. Psychological Science, 25(5), 1106-1115.

よくある間違い

一度だけ見積もりを現実と照らし合わせて、自分はよく較正されていると結論づけること――較正は多くの予測にわたってのみ見える統計的な性質です。