Riduci la complessità del modello

Preferisci il modello più semplice di una situazione che si adatta ancora a tutta l'evidenza.

Why it works

Aggiungere variabili esplicative può sempre migliorare l'adattamento di un modello ai dati passati, ma ogni variabile extra aumenta l'overfitting — il modello inizia a spiegare rumore, non segnale, e le sue previsioni peggiorano. Il principio di parsimonia in statistica (formalizzato come AIC o BIC) penalizza la complessità per trovare il modello che generalizza, non solo memorizza.

How to do it

1. Quando costruisci qualsiasi modello o teoria, chiediti: posso rimuovere qualche variabile senza perdere potere esplicativo?
2. Testa il modello semplificato contro nuovi dati piuttosto che contro i dati su cui è stato costruito.
3. Usa adattamento + semplicità come criterio combinato, non solo l'adattamento.
4. Aggiorna il modello solo quando una nuova variabile migliora dimostrabilmente la previsione fuori campione.

Prove scientifiche

L'overfitting è una modalità di fallimento ben documentata in statistica e machine learning. I criteri informativi (AIC, BIC) che penalizzano la complessità del modello sono strumenti standard per selezionare modelli che generalizzano piuttosto che memorizzare. Hawkins dà un resoconto diretto di come i parametri aggiunti senza penalità degradino la previsione fuori campione, rendendo concreto il costo della complessità non necessaria. (mechanistic)

I criteri di parsimonia statistica assumono una specifica funzione di perdita e un modello generatore di dati; sono guide, non oracoli. La conoscenza del dominio conta ancora.

Fonti

• Akaike (1974), AIC criterion; Schwarz (1978), BIC criterion
• Akaike, Hirotugu (1974). "A New Look at the Statistical Model Identification." IEEE Transactions on Automatic Control, 19(6), 716–723.
• Schwarz, Gideon (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6(2), 461–464.
• Hawkins, Douglas M. (2004). "The Problem of Overfitting." Journal of Chemical Information and Computer Sciences, 44(1), 1–12.

Errore comune

Aggiungere complessità finché la spiegazione copre ogni particolarità osservata, poi scambiare quella copertura per comprensione.