Cuidado com a falsa precisão em previsões e modelos

Trate qualquer probabilidade precisa ou previsão quantitativa com suspeita explícita sobre se o modelo se ajusta ao domínio.

Why it works

Números criam um efeito de confiança: um modelo que diz que há 2,3% de probabilidade de falha parece mais crível do que "aproximadamente 1 em 50" — mesmo que ambos expressem a mesma probabilidade e a precisão possa ser inteiramente fabricada. Em domínios parecidos com jogos, a precisão é justificada; em domínios de aleatoriedade selvagem, a precisão é uma propriedade das suposições do modelo, não da realidade. Questionar a precisão redireciona a atenção para a validade do modelo.

How to do it

1. Quando você vir uma previsão numérica precisa, pergunte: "em quais suposições essa precisão se baseia, e essas suposições se sustentam nesse domínio?"
2. Reexpresse a previsão como um intervalo amplo: "esse modelo diz 2,3%, mas dadas as suposições, o intervalo real poderia ser 0,5%–15%."
3. Pese a decisão de acordo.

Evidência

Consistente com a evidência sobre incerteza de modelo e calibração em previsão. Os intervalos de confiança de previsores profissionais são sistematicamente estreitos demais em vários domínios, da meteorologia às finanças, indicando que a precisão declarada rotineiramente excede a precisão justificada. (observational)

Nem toda precisão é falsa — em domínios estáveis e bem compreendidos com muitos dados, a precisão do modelo pode ser justificada. A verificação é se o domínio a justifica.

Erro comum

Descartar qualquer análise quantitativa porque a precisão parece suspeita — o objetivo é ampliar o intervalo de confiança, não abandonar o pensamento quantitativo.