How does Track your calibration across many predictions work?

A single decision tells you almost nothing about your decision-making quality — outcomes are too noisy. Calibration — the match between stated confidence and actual accuracy — only becomes visible across many predictions. If you say "80% confident" across 20 decisions and are right only 50% of the time, you are systematically overconfident at that level, and the journal gives you the data to see it.

What is the most common mistake with Track your calibration across many predictions?

Logging decisions without assigning probabilities, which makes calibration tracking impossible and leaves you with only a narrative record instead of a statistical one.

Sigue tu calibración a través de muchas predicciones

Puntúa tus niveles de confianza frente a los resultados a lo largo de docenas de predicciones para encontrar tus sesgos sistemáticos.

Why it works

Una sola decisión no te dice casi nada sobre la calidad de tu toma de decisiones: los resultados son demasiado ruidosos. La calibración —el ajuste entre la confianza declarada y la precisión real— solo se vuelve visible a través de muchas predicciones. Si dices "80 % de confianza" a través de 20 decisiones y solo aciertas el 50 % de las veces, tienes un exceso de confianza sistemático en ese nivel, y el diario te da los datos para verlo.

How to do it

Al registrar cada decisión, asigna una probabilidad a tu resultado esperado (por ejemplo, 70 %).
Una vez resueltos los resultados, registra si el resultado coincidió con la predicción.
Tras 20 a 30 entradas, agrupa las predicciones por banda de confianza (50-60 %, 70-80 %, 90 %+) y calcula tu tasa de acierto en cada banda.
Si tu precisión queda por debajo de tu confianza de forma constante, revisa a la baja tus niveles de confianza en ese dominio.

Evidencia

El entrenamiento en calibración —hacer predicciones probabilísticas y puntuarlas frente a los resultados— es una de las pocas intervenciones con evidencia de que mejora de verdad la precisión de los pronósticos. La investigación de los superpronosticadores mostró que el seguimiento explícito y la retroalimentación reducen el exceso de confianza. (observational)

La evidencia de los superpronosticadores proviene de torneos de predicción geopolítica; su transferencia a decisiones personales y profesionales es plausible, pero los tamaños del efecto en las decisiones de la vida cotidiana no están directamente establecidos. La calibración mejora con la práctica, pero el exceso de confianza persiste incluso en practicantes experimentados.

Sources

Tetlock & Gardner (2015), Superforecasting: The Art and Science of Prediction

Common mistake

Registrar decisiones sin asignar probabilidades, lo que hace imposible el seguimiento de la calibración y te deja solo con un registro narrativo en lugar de uno estadístico.

Practica esto con IX Coach

Start with IX Coach

7 days free, then $40/month (~$1.30/day).