Mantén un registro de predicciones puntuadas

Registra las predicciones con probabilidades explícitas y puntúalas cuando se resuelven.

Why it works

La calibración requiere un bucle de retroalimentación: declaras una probabilidad, el resultado ocurre, y aprendes si tu confianza declarada coincidió con la tasa base de tus predicciones. Sin registrar y puntuar, la confianza sigue siendo una sensación en lugar de una cantidad medible. La puntuación de Brier es la métrica estándar: más baja es mejor, recompensando las predicciones confiadas y correctas y penalizando proporcionalmente las confiadas y equivocadas.

How to do it

1. Configura un registro simple: fecha, pregunta, estimación de probabilidad, resultado (cuando se resuelva).
2. Registra al menos de cinco a diez predicciones por mes para generar suficientes datos para el análisis de calibración.
3. Puntúa cada predicción resuelta usando la fórmula de la puntuación de Brier: (probabilidad − resultado)², donde el resultado es 0 o 1.
4. Grafica tus puntuaciones de Brier a lo largo del tiempo: una tendencia hacia puntuaciones más bajas es una mejora real.

Evidencia

Los torneos de pronósticos de Tetlock usaron la puntuación de Brier en todo momento; los pronosticadores que registraban y puntuaban mejoraron significativamente más que quienes pronosticaban sin retroalimentación. El mecanismo de puntuación es la operacionalización de la retroalimentación de calibración y es central para el programa de investigación del buen juicio. (observational)

Los registros personales de predicciones requieren disciplina para mantenerse y solo se vuelven estadísticamente significativos tras suficiente volumen: típicamente cientos de predicciones para una calibración de grano fino.

Sources

• Tetlock (2005), Expert Political Judgment
• Tetlock & Gardner (2015), Superforecasting

Common mistake

Registrar predicciones en lenguaje vago ("creo que saldrá bien") en lugar de probabilidades numéricas, lo que hace imposible la puntuación y la calibración no medible.