Reduza a complexidade do modelo

Prefira o modelo mais simples de uma situação que ainda se encaixa em toda a evidência.

Why it works

Adicionar variáveis explicativas sempre pode melhorar o ajuste de um modelo aos dados passados, mas cada variável extra aumenta o overfitting — o modelo começa a explicar ruído, não sinal, e suas previsões se deterioram. O princípio da parcimônia em estatística (formalizado como AIC ou BIC) penaliza a complexidade para encontrar o modelo que generaliza, não apenas memoriza.

How to do it

1. Ao construir qualquer modelo ou teoria, pergunte: posso remover alguma variável sem perder poder explicativo?
2. Teste o modelo simplificado contra novos dados, não contra os dados com que foi construído.
3. Use ajuste + simplicidade como um critério combinado, não apenas ajuste.
4. Atualize o modelo apenas quando uma nova variável melhora demonstravelmente a previsão fora da amostra.

Evidência

O overfitting é um modo de falha bem documentado em estatística e aprendizado de máquina. Critérios teórico-informacionais (AIC, BIC) que penalizam a complexidade do modelo são ferramentas padrão para selecionar modelos que generalizam em vez de memorizar. Hawkins fornece um relato direto de por que parâmetros adicionados sem penalização degradam a previsão fora da amostra, tornando o custo da complexidade desnecessária concreto, em vez de meramente formal. (mechanistic)

Critérios estatísticos de parcimônia assumem uma função de perda e um modelo gerador de dados específicos; são guias, não oráculos. O conhecimento do domínio ainda importa.

Fontes

• Akaike (1974), AIC criterion; Schwarz (1978), BIC criterion
• Akaike, Hirotugu (1974). "A New Look at the Statistical Model Identification." IEEE Transactions on Automatic Control, 19(6), 716–723.
• Schwarz, Gideon (1978). "Estimating the Dimension of a Model." The Annals of Statistics, 6(2), 461–464.
• Hawkins, Douglas M. (2004). "The Problem of Overfitting." Journal of Chemical Information and Computer Sciences, 44(1), 1–12.

Erro comum

Adicionar complexidade até que a explicação cubra cada peculiaridade observada, depois confundir a cobertura com compreensão.