Cuidado con la falsa precisión en pronósticos y modelos

Trata cualquier probabilidad precisa o pronóstico cuantitativo con sospecha explícita sobre si el modelo encaja en el dominio.

Why it works

Los números crean un efecto de confianza: un modelo que dice que hay un 2,3% de probabilidad de fallo se siente más creíble que "aproximadamente 1 de cada 50", aunque ambos expresen la misma probabilidad y la precisión pueda estar por completo fabricada. En dominios tipo juego, la precisión está justificada; en dominios de aleatoriedad salvaje, la precisión es una propiedad de los supuestos del modelo, no de la realidad. Cuestionar la precisión redirige la atención a la validez del modelo.

How to do it

1. Cuando veas un pronóstico numérico preciso, pregúntate: "¿Sobre qué supuestos se construye esta precisión, y se sostienen esos supuestos en este dominio?".
2. Reexpresa el pronóstico como un rango amplio: "Este modelo dice 2,3%, pero dados los supuestos, el rango real podría ser de 0,5% a 15%".
3. Pondera la decisión en consecuencia.

Evidencia

Coherente con la evidencia sobre incertidumbre del modelo y calibración en pronósticos. Los intervalos de confianza de los pronosticadores profesionales son sistemáticamente demasiado estrechos en dominios que van del clima a las finanzas, lo que indica que la precisión declarada supera de forma rutinaria la precisión justificada. (observational)

No toda precisión es falsa: en dominios estables y bien entendidos con muchos datos, la precisión del modelo puede estar justificada. La comprobación es si el dominio la justifica.

Common mistake

Descartar cualquier análisis cuantitativo porque la precisión parece sospechosa: el objetivo es ampliar el intervalo de confianza, no abandonar el pensamiento cuantitativo.