予測やモデルにおける偽りの精密さに注意する

精密な確率や定量的予測には、そのモデルが領域に適合しているかどうかについて明確な疑いを持って接する。

Why it works

数字は信頼効果を生む。失敗確率が2.3%だと言うモデルは、両者が実際には同じ確率を表しているにもかかわらず、また精密さが完全に作り物である可能性があるにもかかわらず、「およそ50分の1」よりも信頼できるように感じられる。ゲームのような領域では精密さは正当化されるが、野生のランダム性を持つ領域では、精密さは現実の性質ではなくモデルの前提の性質にすぎない。精密さを疑うことは、注意をモデルの妥当性へと向け直す。

How to do it

1. 精密な数値予測を見たら、「この精密さはどんな前提の上に成り立っているのか、そしてその前提はこの領域で成り立つのか」を問う。
2. 予測を幅の広い範囲として言い直す。「このモデルは2.3%と言っているが、前提を踏まえると、実際の範囲は0.5%〜15%かもしれない」。
3. それに応じて決断に重みをつける。

エビデンス

予測におけるモデルの不確実性とキャリブレーションに関するエビデンスと整合的である。天気から金融まであらゆる領域で、プロの予測者の信頼区間は体系的に狭すぎることが分かっており、示された精密さが正当化される精密さを日常的に超えていることを示している。 (observational)

すべての精密さが偽りというわけではない。安定していて十分理解されている領域で、大量のデータがあれば、モデルの精密さは正当化されうる。確認すべきは、その領域がそれに値するかどうかである。

よくある間違い

精密さが怪しいという理由だけで定量分析をすべて退けること — 目標は信頼区間を広げることであり、定量的思考を放棄することではない。