Modellkomplexität beschneiden

Bevorzugen Sie das einfachste Modell einer Situation, das noch zu allen Daten passt.

Why it works

Das Hinzufügen erklärender Variablen kann die Passung eines Modells zu vergangenen Daten immer verbessern, aber jede zusätzliche Variable erhöht Überanpassung – das Modell beginnt, Rauschen statt Signal zu erklären, und seine Vorhersagen verschlechtern sich. Das Parsimonieprinzip in der Statistik (formalisiert als AIC oder BIC) bestraft Komplexität, um das Modell zu finden, das verallgemeinert, nicht nur auswendig lernt.

How to do it

1. Fragen Sie beim Aufbau eines Modells oder einer Theorie: Kann ich eine Variable entfernen, ohne Erklärungskraft zu verlieren?
2. Testen Sie das vereinfachte Modell an neuen Daten, nicht an den Daten, auf denen es aufgebaut wurde.
3. Nutzen Sie Passung + Einfachheit als kombiniertes Kriterium, nicht Passung allein.
4. Aktualisieren Sie das Modell nur, wenn eine neue Variable die Vorhersage außerhalb der Stichprobe nachweislich verbessert.

Evidenz

Überanpassung ist ein gut dokumentierter Fehlermodus in Statistik und maschinellem Lernen. Informationstheoretische Kriterien (AIC, BIC), die Modellkomplexität bestrafen, sind Standardwerkzeuge zur Auswahl von Modellen, die verallgemeinern statt auswendig zu lernen. Hawkins liefert eine direkte Darstellung, warum unbestrafte hinzugefügte Parameter die Vorhersage außerhalb der Stichprobe verschlechtern, was die Kosten unnötiger Komplexität konkret macht statt nur formal. (mechanistic)

Statistische Parsimoniekriterien setzen eine spezifische Verlustfunktion und ein datengenerierendes Modell voraus; sie sind Leitlinien, keine Orakel. Fachwissen zählt weiterhin.

Quellen

• Akaike (1974), AIC criterion; Schwarz (1978), BIC criterion
• Akaike, Hirotugu (1974). "A New Look at the Statistical Model Identification." IEEE Transactions on Automatic Control, 19(6), 716–723.
• Schwarz, Gideon (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6(2), 461–464.
• Hawkins, Douglas M. (2004). "The Problem of Overfitting." Journal of Chemical Information and Computer Sciences, 44(1), 1–12.

Häufiger Fehler

Komplexität hinzuzufügen, bis die Erklärung jede beobachtete Eigenheit abdeckt, und dann die Abdeckung mit Verständnis zu verwechseln.