Entrenamiento de calibración
Construir el círculo de retroalimentación entre la confianza y la exactitud
¿Cómo te entrenas para tener una confianza bien calibrada, ni con exceso ni con falta de confianza?
El entrenamiento de calibración te enseña a hacer coincidir tus niveles declarados de confianza con tu precisión real: si dices "70 % seguro", aproximadamente el 70 % de esas afirmaciones deberían resultar correctas. La investigación sobre pronósticos de Tetlock y los estudios de entrenamiento en probabilidad muestran que la calibración es entrenable con práctica y retroalimentación: la evidencia aquí es específica y replicable.
La mayoría de la gente está mal calibrada en una dirección específica: con exceso de confianza en los ámbitos donde se sienten competentes, con falta de confianza en los nuevos, y sistemáticamente mal al expresar probabilidades de eventos raros. El entrenamiento de calibración es la práctica deliberada de medir la brecha entre la confianza declarada y la precisión real, y luego cerrarla con retroalimentación. No se trata de estar inseguro, sino de estar inseguro con precisión. A continuación están las prácticas que hacen funcionar el entrenamiento.
Prácticas
- Practica la estimación de intervalos de confianza
Estima rangos para cantidades factuales y comprueba con qué frecuencia el valor verdadero cae dentro de tu rango.
- Mantén un registro de predicciones puntuadas
Registra las predicciones con probabilidades explícitas y puntúalas cuando se resuelven.
- Identifica los ámbitos específicos donde tienes más exceso de confianza
La calibración es específica del ámbito: encuentra dónde tu confianza más supera tu precisión.
- Ancla tu nivel de confianza en las tasas base, no en la corazonada
Empieza tu estimación de confianza desde la tasa histórica de acierto para este tipo de predicción, no desde lo confiado que te sientes.
- Comprométete de antemano con los criterios de resolución antes de hacer una predicción
Define exactamente qué cuenta como "acerté" antes de que ocurra el resultado.
- Construye repeticiones de calibración con trivialidades de bajo riesgo y preguntas de almanaque
Usa preguntas de trivia factuales como campo de práctica para la calibración: los resultados se resuelven de inmediato y el riesgo es cero.
- Distingue la incertidumbre (cuantificable) de la ignorancia (no cuantificable)
Sabe cuándo puedes asignar una probabilidad y cuándo la situación es tan novedosa que un número sería fabricado.
Practica esto con IX Coach
IX Coach: 7 days free, then $40/month (about $1.30/day).
Conceptos relacionados
- Superpronóstico
Los hábitos, la mentalidad y las prácticas de calibración de los pronosticadores más precisos del mundo
- La Visión Externa
Corregir el optimismo de la visión interna con tasas base, historia y humildad calibrada
- Pronóstico por Clase de Referencia
Usar tasas base y anclajes de la mirada externa para pronosticar con más honestidad