Mantén un registro puntuado de predicciones

Registra predicciones con probabilidades explícitas y califícalas cuando se resuelvan.

Why it works

La calibración requiere un bucle de retroalimentación: declaras una probabilidad, el resultado ocurre, y aprendes si tu confianza declarada coincidió con la tasa base de tus predicciones. Sin registrar y calificar, la confianza sigue siendo un sentimiento en vez de una cantidad medible. La puntuación de Brier es la métrica estándar: más bajo es mejor, recompensando predicciones correctas confiadas y penalizando las incorrectas confiadas proporcionalmente.

How to do it

1. Configura un registro simple: fecha, pregunta, estimación de probabilidad, resultado (cuando se resuelva).
2. Registra al menos de cinco a diez predicciones por mes para generar suficientes datos para el análisis de calibración.
3. Califica cada predicción resuelta usando la fórmula de puntuación de Brier: (probabilidad − resultado)², donde el resultado es 0 o 1.
4. Grafica tus puntuaciones de Brier a lo largo del tiempo: una tendencia hacia puntuaciones más bajas es mejora real.

Evidencia

Los torneos de pronóstico de Tetlock usaron puntuación de Brier a lo largo; los pronosticadores rastreados y calificados mejoraron significativamente más que quienes pronosticaron sin retroalimentación. El mecanismo de puntuación es la operacionalización de la retroalimentación de calibración y es central para el programa de investigación de buen juicio. (observational)

Los registros de predicción personales requieren disciplina para mantenerse y solo se vuelven estadísticamente significativos después de suficiente volumen: típicamente cientos de predicciones para una calibración de grano fino.

Fuentes

• Tetlock (2005), Expert Political Judgment
• Tetlock & Gardner (2015), Superforecasting
• Tetlock, P. E. (2005). Expert Political Judgment: How Good Is It? How Can We Know? Princeton University Press.
• Mellers, B., Stone, E., Atanasov, P., Rohrbaugh, N., Metz, S. E., Ungar, L., Bishop, M. M., Horowitz, M., Merkle, E., & Tetlock, P. (2015). The psychology of intelligence analysis: Drivers of prediction accuracy in world politics. Journal of Experimental Psychology: Applied, 21(1), 1–14.
• Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.

Error común

Registrar predicciones en lenguaje vago ("creo que saldrá bien") en vez de probabilidades numéricas, lo que hace la calificación imposible y la calibración inmensurable.