Practica la estimación de intervalos de confianza

Estima rangos para cantidades factuales y comprueba con qué frecuencia el valor verdadero cae dentro de tu rango.

Why it works

Un intervalo de confianza del 90 % debería contener el valor verdadero el 90 % de las veces. Los intervalos del 90 % de la mayoría de la gente son demasiado estrechos: los valores reales caen fuera de ellos entre el 30 y el 50 % de las veces, reflejando un exceso severo de confianza en la precisión. Practicar la estimación de intervalos con retroalimentación inmediata recalibra el sentido interno de "cuánto sé", lo que se transfiere a una expresión de incertidumbre más honesta en las decisiones.

How to do it

1. Haz un cuestionario de calibración: para cada pregunta factual, declara un rango que estés 90 % seguro de que contiene la respuesta verdadera.
2. Después de cada lote de preguntas, califica con qué frecuencia el valor verdadero estuvo dentro de tu rango.
3. Si tus intervalos del 90 % contienen la respuesta correcta menos del 90 % de las veces, amplía tus rangos en la siguiente ronda.
4. Repite semanalmente hasta que tus intervalos del 90 % aterricen genuinamente el 90 % de las veces: eso es la calibración.

Evidencia

Múltiples estudios sobre el entrenamiento en probabilidad encontraron que los ejercicios de intervalos de confianza con retroalimentación reducen significativamente el exceso de confianza en las pruebas de calibración, con efectos que persisten durante semanas. Esta es una de las formas de mitigación de sesgos con más apoyo directo. (observational)

Las mejoras de calibración en tareas de entrenamiento no se transfieren del todo a ámbitos nuevos; la calibración es en parte específica del ámbito y requiere retroalimentación en cada ámbito para ser fiable.

Sources

• Lichtenstein, Fischhoff & Phillips (1982), "Calibration of subjective probabilities," in Judgment Under Uncertainty: Heuristics and Biases
• Tetlock & Gardner (2015), Superforecasting — calibration training modules

Common mistake

Ampliar todos los rangos de manera uniforme en lugar de aprender a discriminar: una persona bien calibrada tiene rangos estrechos cuando genuinamente sabe algo y amplios cuando no, no rangos uniformemente amplios.