Tratar la precisión de pronóstico como una habilidad que mejora con la práctica

Toma los errores de predicción como retroalimentación de rendimiento, no como prueba de que pronosticar es inútil.

Why it works

Los superpredictores tratan sus resultados puntuados como diagnósticos, no como veredictos. Cuando están mal calibrados en un dominio, investigan por qué — ¿la clase de referencia era incorrecta, la ponderación de evidencia estaba equivocada, había una dependencia estructural que pasaron por alto? Esta orientación hacia la retroalimentación es el mismo mecanismo que distingue la práctica deliberada de la mera experiencia. Sin ella, la repetición produce confianza sin precisión.

How to do it

1. Después de que se resuelva una predicción, puntúala: compara tu probabilidad declarada con el resultado binario.
2. Para predicciones en las que te equivocaste significativamente, haz una breve autopsia: ¿cuál fue el factor más fuerte que subponderaste?
3. Rastrea patrones de error: ¿sobre-predices en ciertos dominios, sub-predices en otros?
4. Fija una meta de aprendizaje para la calibración (no solo la precisión) — "quiero que mis predicciones del 70% se cumplan el 70% de las veces".

Evidencia

La investigación de Tetlock encontró que los pronosticadores que se involucraban en aprendizaje deliberado a partir de la puntuación — particularmente aquellos que practicaban en equipos con retroalimentación — mostraron la mayor mejora con el tiempo. La trayectoria de crecimiento es consistente con la investigación sobre práctica deliberada. (observational)

La mejora de la calibración es lenta y depende del contexto; se observaron grandes mejoras en condiciones de torneo con retroalimentación densa. La toma de decisiones en el mundo real con retroalimentación escasa produce ganancias más lentas.

Fuentes

• Tetlock & Gardner (2015), Superforecasting, Chapter 10

Error común

Usar un solo error dramático para concluir que pronosticar es poco confiable en lugar de investigar el mecanismo específico del error — un error es un dato, no una refutación.