Recorta la complejidad del modelo

Prefiere el modelo más simple de una situación que aún encaje con toda la evidencia.

Why it works

Añadir variables explicativas siempre puede mejorar el ajuste de un modelo a datos pasados, pero cada variable extra aumenta el sobreajuste —el modelo empieza a explicar ruido, no señal, y sus predicciones se deterioran. El principio de parsimonia en estadística (formalizado como AIC o BIC) penaliza la complejidad para encontrar el modelo que generaliza, no solo memoriza.

How to do it

1. Al construir cualquier modelo o teoría, pregunta: ¿puedo eliminar alguna variable sin perder poder explicativo?
2. Prueba el modelo simplificado con datos nuevos en lugar de con los datos con los que se construyó.
3. Usa ajuste + simplicidad como criterio combinado, no solo ajuste.
4. Actualiza el modelo solo cuando una nueva variable demuestre mejorar la predicción fuera de muestra.

Evidencia

El sobreajuste es un modo de fallo bien documentado en estadística y aprendizaje automático. Los criterios de teoría de la información (AIC, BIC) que penalizan la complejidad del modelo son herramientas estándar para seleccionar modelos que generalizan en lugar de memorizar. Hawkins da una explicación directa de por qué los parámetros añadidos sin penalización degradan la predicción fuera de muestra, haciendo concreto el costo de la complejidad innecesaria en lugar de meramente formal. (mechanistic)

Los criterios estadísticos de parsimonia asumen una función de pérdida y un modelo generador de datos específicos; son guías, no oráculos. El conocimiento del dominio sigue importando.

Fuentes

• Akaike (1974), AIC criterion; Schwarz (1978), BIC criterion
• Akaike, Hirotugu (1974). "A New Look at the Statistical Model Identification." IEEE Transactions on Automatic Control, 19(6), 716–723.
• Schwarz, Gideon (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6(2), 461–464.
• Hawkins, Douglas M. (2004). "The Problem of Overfitting." Journal of Chemical Information and Computer Sciences, 44(1), 1–12.

Error común

Añadir complejidad hasta que la explicación cubra cada peculiaridad observada, y luego confundir esa cobertura con comprensión.