モデルの複雑さを削る

証拠に合う最もシンプルなモデルを、状況の中で優先する。

Why it works

説明変数を追加することで、常に過去のデータへの適合を改善できますが、それぞれの追加変数は過剰適合を増やします ― モデルは信号ではなくノイズを説明し始め、予測の質は低下します。統計におけるパーシモニーの原理(AICやBICとして形式化される)は、記憶するのではなく一般化するモデルを見つけるために複雑さにペナルティを課します。

How to do it

1. モデルや理論を構築するとき、問う。説明力を失うことなく、どの変数を取り除けるか?
2. 簡略化したモデルを、それが構築されたデータではなく新しいデータに対してテストする。
3. 適合単独ではなく、適合+シンプルさを組み合わせた基準として使う。
4. 新しい変数がサンプル外の予測を実証的に改善する場合にのみ、モデルを更新する。

エビデンス

過剰適合は統計学と機械学習でよく文書化された失敗モードです。モデルの複雑さにペナルティを課す情報理論的な基準(AIC、BIC)は、記憶ではなく一般化するモデルを選択するための標準的なツールです。Hawkinsは、ペナルティを課さない追加パラメータがサンプル外の予測をなぜ悪化させるかについて直接的な説明を与え、不必要な複雑さのコストを単なる形式的なものではなく具体的にしています。 (mechanistic)

統計的なパーシモニー基準は特定の損失関数とデータ生成モデルを前提としています。それらはガイドであってオラクルではありません。ドメイン知識は依然として重要です。

出典

• Akaike (1974), AIC criterion; Schwarz (1978), BIC criterion
• Akaike, Hirotugu (1974). "A New Look at the Statistical Model Identification." IEEE Transactions on Automatic Control, 19(6), 716–723.
• Schwarz, Gideon (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6(2), 461–464.
• Hawkins, Douglas M. (2004). "The Problem of Overfitting." Journal of Chemical Information and Computer Sciences, 44(1), 1–12.

よくある間違い

説明が観察されたあらゆる癖をカバーするまで複雑さを加え、そのカバレッジを理解と勘違いすること。