Élaguer la complexité du modèle

Privilégiez le modèle le plus simple d'une situation qui colle encore à toutes les preuves.

Why it works

Ajouter des variables explicatives peut toujours améliorer l'ajustement d'un modèle aux données passées, mais chaque variable supplémentaire augmente le surajustement — le modèle commence à expliquer du bruit, pas un signal, et ses prédictions se dégradent. Le principe de parcimonie en statistique (formalisé en AIC ou BIC) pénalise la complexité pour trouver le modèle qui généralise, pas seulement qui mémorise.

How to do it

1. En construisant tout modèle ou théorie, demandez : puis-je retirer une variable sans perdre de pouvoir explicatif ?
2. Testez le modèle simplifié contre de nouvelles données plutôt que celles sur lesquelles il a été construit.
3. Utilisez l'ajustement plus la simplicité comme critère combiné, pas l'ajustement seul.
4. Mettez à jour le modèle seulement quand une nouvelle variable améliore démontrablement la prédiction hors échantillon.

Données probantes

Le surajustement est un mode d'échec bien documenté en statistique et en apprentissage automatique. Les critères théorico-informationnels (AIC, BIC) qui pénalisent la complexité du modèle sont des outils standards pour sélectionner des modèles qui généralisent plutôt que mémorisent. Hawkins donne un compte-rendu direct de pourquoi des paramètres ajoutés non pénalisés dégradent la prédiction hors échantillon, rendant le coût de la complexité inutile concret plutôt que simplement formel. (mechanistic)

Les critères statistiques de parcimonie supposent une fonction de perte et un modèle génératif de données spécifiques ; ce sont des guides, pas des oracles. La connaissance du domaine compte toujours.

Sources

• Akaike (1974), AIC criterion; Schwarz (1978), BIC criterion
• Akaike, Hirotugu (1974). "A New Look at the Statistical Model Identification." IEEE Transactions on Automatic Control, 19(6), 716–723.
• Schwarz, Gideon (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6(2), 461–464.
• Hawkins, Douglas M. (2004). "The Problem of Overfitting." Journal of Chemical Information and Computer Sciences, 44(1), 1–12.

Erreur fréquente

Ajouter de la complexité jusqu'à ce que l'explication couvre chaque bizarrerie observée, puis confondre cette couverture avec de la compréhension.