小さなサンプルには明確な懐疑心を持って接する

短い連続は統計的に信頼できるものでなくても代表的に見えることがある——サンプルサイズに応じて自信を調整する。

Why it works

代表性ヒューリスティックはサンプルサイズに鈍感だ。人は4回の観察の結果の連続の確率を、40回の観察の結果と同じように判断する。しかしサンプルが小さいほど分散が大きく、極端な結果やパターン化された結果は偶然によって起こる可能性がはるかに高い。小さなサンプルが信頼できないことを認識することで、初期の結果に意味を読み込み、時期尚早な一般化をする傾向が修正される。

How to do it

1. データから結論を導くとき、サンプルサイズを明示的に書き留める。
2. 「もし根底にある真実がランダムだったとしたら、これほど小さなサンプルでこれほど極端な結果を偶然見る確率はどれくらいか」を問う。
3. 偶然による説明がありそうもなくなるサンプルを得るまで、確信を持った結論を保留する。
4. より大きなサンプルが得られない場合は、結論を狭めるのではなく信頼区間を広げる。

エビデンス

「小数の法則」(トベルスキー&カーネマン、1971年)は、小さなサンプルも大きなサンプルと同じくらい代表的であるという誤った信念を記述する。これは統計的検出力について推論する心理学者を含め、一般人と専門家の両方の集団でよく再現されている。 (observational)

小さなサンプルへの懐疑心は過剰修正されうる——すべての初期結果を無視すべきではない。合理的な事前確率を使ったベイズ更新の方が、包括的な懐疑心よりも較正されている。

出典

• Tversky & Kahneman (1971), Belief in the law of small numbers, Psychological Bulletin

よくある間違い

数値上は信頼区間を広げているが、それでも点推定に基づいて行動すること——調整は決定を変えるべきであり、単なる不確実性についての口先だけの認識であってはならない。