Cuídate de la falsa precisión en pronósticos y modelos

Trata cualquier probabilidad precisa o pronóstico cuantitativo con sospecha explícita sobre si el modelo se ajusta al dominio.

Why it works

Los números crean un efecto de confianza: un modelo que dice que hay 2.3% de probabilidad de fallo se siente más creíble que "aproximadamente 1 en 50" — aunque ambos expresen la misma probabilidad y la precisión puede ser enteramente fabricada. En dominios parecidos a juegos, la precisión está justificada; en dominios de aleatoriedad salvaje, la precisión es una propiedad de los supuestos del modelo, no de la realidad. Cuestionar la precisión redirige la atención hacia la validez del modelo.

How to do it

1. Cuando veas un pronóstico numérico preciso, pregunta: "¿En qué supuestos se basa esta precisión, y se cumplen esos supuestos en este dominio?"
2. Reexpresa el pronóstico como un rango amplio: "Este modelo dice 2.3%, pero dados los supuestos, el rango real podría ser 0.5%-15%".
3. Pondera la decisión en consecuencia.

Evidencia

Consistente con la evidencia sobre incertidumbre de modelo y calibración en pronósticos. Los intervalos de confianza de pronosticadores profesionales son sistemáticamente demasiado estrechos en todos los dominios, desde el clima hasta las finanzas, lo que indica que la precisión declarada rutinariamente excede la precisión garantizada. (observational)

No toda precisión es falsa — en dominios estables y bien entendidos con muchos datos, la precisión del modelo puede estar justificada. La verificación es si el dominio la garantiza.

Error común

Descartar cualquier análisis cuantitativo porque la precisión parece sospechosa — el objetivo es ampliar el intervalo de confianza, no abandonar el pensamiento cuantitativo.