Practica la estimación de intervalos de confianza

Estima rangos para cantidades fácticas y verifica cuán a menudo el valor real cae dentro de tu rango.

Why it works

Un intervalo de confianza del 90% debería contener el valor real el 90% de las veces. Los intervalos del 90% de la mayoría de las personas son demasiado estrechos: los valores reales caen fuera de ellos 30-50% de las veces, reflejando una sobreconfianza severa en la precisión. Practicar la estimación de intervalos con retroalimentación inmediata recalibra el sentido interno de "cuánto sé", lo que se transfiere a una expresión de incertidumbre más honesta en las decisiones.

How to do it

1. Toma un cuestionario de calibración: para cada pregunta fáctica, indica un rango en el que estés 90% seguro de que contiene la respuesta verdadera.
2. Después de cada lote de preguntas, califica cuán a menudo el valor real estuvo dentro de tu rango.
3. Si tus intervalos del 90% contienen la respuesta correcta menos del 90% de las veces, amplía tus rangos en la siguiente ronda.
4. Repite semanalmente hasta que tus intervalos del 90% realmente acierten el 90% de las veces: esto es calibración.

Evidencia

Múltiples estudios sobre entrenamiento de probabilidad encontraron que los ejercicios de intervalo de confianza con retroalimentación reducen significativamente la sobreconfianza en pruebas de calibración, con efectos que persisten durante semanas. Esta es una de las formas de desesgo más directamente respaldadas. (observational)

Las mejoras de calibración en tareas de entrenamiento no se transfieren completamente a dominios novedosos; la calibración es parcialmente específica del dominio y requiere retroalimentación en cada dominio para ser confiable.

Fuentes

• Lichtenstein, Fischhoff & Phillips (1982), "Calibration of subjective probabilities," in Judgment Under Uncertainty: Heuristics and Biases
• Tetlock & Gardner (2015), Superforecasting — calibration training modules
• Alpert, M., & Raiffa, H. (1982). A progress report on the training of probability assessors. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 294–305). Cambridge University Press.
• Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of probabilities: The state of the art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 306–334). Cambridge University Press.

Error común

Ampliar todos los rangos de manera uniforme en vez de aprender a discriminar: una persona bien calibrada tiene rangos estrechos cuando genuinamente sabe algo y amplios cuando no, no rangos uniformemente amplios.