Entrenamiento de Calibración

Construyendo el bucle de retroalimentación entre confianza y precisión

Cómo entrenar una confianza bien calibrada

El entrenamiento de calibración te enseña a hacer coincidir tus niveles de confianza declarados con tu precisión real: si dices "70% de confianza", aproximadamente el 70% de esas afirmaciones deberían resultar correctas. La investigación de pronóstico de Tetlock y los estudios de entrenamiento de probabilidad muestran que la calibración es entrenable con práctica y retroalimentación: la evidencia aquí es específica y replicable.

La mayoría de las personas están mal calibradas en una dirección específica: sobreconfiadas en dominios donde se sienten competentes, subconfiadas en los nuevos, y sistemáticamente malas para expresar probabilidades de eventos raros. El entrenamiento de calibración es la práctica deliberada de medir la brecha entre la confianza declarada y la precisión real, luego cerrarla con retroalimentación. No se trata de ser incierto, se trata de ser precisamente incierto. A continuación están las prácticas que hacen funcionar el entrenamiento.

Prácticas

Practica la estimación de intervalos de confianza
Estima rangos para cantidades fácticas y verifica cuán a menudo el valor real cae dentro de tu rango.
Mantén un registro puntuado de predicciones
Registra predicciones con probabilidades explícitas y califícalas cuando se resuelvan.
Identifica los dominios específicos donde estás más sobreconfiado
La calibración es específica del dominio: encuentra dónde tu confianza excede más tu precisión.
Ancla tu nivel de confianza en tasas base, no en la intuición
Comienza tu estimación de confianza desde la tasa de acierto histórica para este tipo de predicción, no desde cuán confiado te sientes.
Comprométete de antemano con criterios de resolución antes de hacer una predicción
Define exactamente qué cuenta como "tenía razón" antes de que ocurra el resultado.
Construye repeticiones de calibración con trivia y preguntas de almanaque de bajo riesgo
Usa preguntas fácticas de trivia como terreno de práctica para la calibración: los resultados se resuelven de inmediato y el riesgo es cero.
Distingue la incertidumbre (cuantificable) de la ignorancia (no cuantificable)
Sabe cuándo puedes asignar una probabilidad y cuándo la situación es tan novedosa que un número sería fabricado.

Practica esto con IX Coach

Investigación

Lichtenstein, Fischhoff & Phillips (1982), "Calibration of subjective probabilities," in Judgment Under Uncertainty: Heuristics and Biases
Tetlock & Gardner (2015), Superforecasting — calibration training modules
Alpert, M., & Raiffa, H. (1982). A progress report on the training of probability assessors. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 294–305). Cambridge University Press.
Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of probabilities: The state of the art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 306–334). Cambridge University Press.
Tetlock (2005), Expert Political Judgment
Tetlock & Gardner (2015), Superforecasting
Tetlock, P. E. (2005). Expert Political Judgment: How Good Is It? How Can We Know? Princeton University Press.
Mellers, B., Stone, E., Atanasov, P., Rohrbaugh, N., Metz, S. E., Ungar, L., Bishop, M. M., Horowitz, M., Merkle, E., & Tetlock, P. (2015). The psychology of intelligence analysis: Drivers of prediction accuracy in world politics. Journal of Experimental Psychology: Applied, 21(1), 1–14.
Brier, G. W. (1950). Verification of forecasts expressed in terms of probability. Monthly Weather Review, 78(1), 1–3.
Lichtenstein & Fischhoff (1977), "Do those who know more also know more about how much they know?", Organizational Behavior and Human Performance
Lichtenstein, S., & Fischhoff, B. (1977). Do those who know more also know more about how much they know? Organizational Behavior and Human Performance, 20(2), 159–183.
Murphy, A. H., & Winkler, R. L. (1977). Reliability of subjective probability forecasts of precipitation and temperature. Journal of the Royal Statistical Society: Series C (Applied Statistics), 26(1), 41–47.
Kahneman & Tversky (1973), "On the psychology of prediction," Psychological Review
Kahneman & Lovallo (1993), on planning fallacy and inside-view bias
Kahneman, D., & Tversky, A. (1973). On the psychology of prediction. Psychological Review, 80(4), 237–251.
Kahneman, D., & Lovallo, D. (1993). Timid choices and bold forecasts: A cognitive perspective on risk taking. Management Science, 39(1), 17–31.
Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological strategies for winning a geopolitical forecasting tournament. Psychological Science, 25(5), 1106–1115.
Lichtenstein & Fischhoff (1980), "Training for calibration," Organizational Behavior and Human Performance
Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149–171.
Knight (1921), Risk, Uncertainty and Profit
Ellsberg (1961), "Risk, ambiguity, and the Savage axioms," Quarterly Journal of Economics

Conceptos relacionados

Superpredicción
Los hábitos, la mentalidad y las prácticas de calibración de los pronosticadores más precisos del mundo
La Vista Externa
Corrigiendo el optimismo de la vista interna con tasas base, historia y humildad calibrada
Pronóstico por Clase de Referencia
Usar tasas base y anclas de visión externa para pronosticar con más honestidad

Frequently asked questions

Cómo entrenar una confianza bien calibrada

¿Cómo funciona «Practica la estimación de intervalos de confianza»?

Un intervalo de confianza del 90% debería contener el valor real el 90% de las veces. Los intervalos del 90% de la mayoría de las personas son demasiado estrechos: los valores reales caen fuera de ellos 30-50% de las veces, reflejando una sobreconfianza severa en la precisión. Practicar la estimación de intervalos con retroalimentación inmediata recalibra el sentido interno de "cuánto sé", lo que se transfiere a una expresión de incertidumbre más honesta en las decisiones.

¿Cómo funciona «Mantén un registro puntuado de predicciones»?

La calibración requiere un bucle de retroalimentación: declaras una probabilidad, el resultado ocurre, y aprendes si tu confianza declarada coincidió con la tasa base de tus predicciones. Sin registrar y calificar, la confianza sigue siendo un sentimiento en vez de una cantidad medible. La puntuación de Brier es la métrica estándar: más bajo es mejor, recompensando predicciones correctas confiadas y penalizando las incorrectas confiadas proporcionalmente.

¿Cómo funciona «Identifica los dominios específicos donde estás más sobreconfiado»?

Las personas no son uniformemente sobreconfiadas; típicamente son más sobreconfiadas en dominios donde tienen experiencia pero retroalimentación limitada, donde el dominio usa jerga que entienden, o donde han hecho compromisos públicos. Diagnosticar qué dominios producen tu peor calibración enfoca el esfuerzo de desesgo donde tendrá el mayor retorno.

¿Cómo funciona «Ancla tu nivel de confianza en tasas base, no en la intuición»?

La confianza intuitiva está contaminada por cuán fluidamente vino a la mente la respuesta, cuán motivado estás por el resultado, y cuán recientemente ocurrió un evento similar. Ninguno de estos es un indicador confiable de la precisión. Las tasas base de una clase de referencia definida proporcionan un ancla externa dura que separa la estimación de confianza del ruido emocional y cognitivo que la intuición mezcla.

¿Cómo funciona «Comprométete de antemano con criterios de resolución antes de hacer una predicción»?

Las predicciones vagas sobreviven casi cualquier resultado: "dije que las cosas podrían complicarse" es consistente con el desastre o el éxito. Esta flexibilidad de resultado es una forma de razonamiento motivado que evita que la retroalimentación de calibración llegue alguna vez. Comprometerse de antemano con criterios de resolución específicos y verificables cierra la escapatoria: la predicción se resuelve correctamente o no lo hace, y no puedes reconstruir después del hecho lo que "realmente" quisiste decir.

¿Cómo funciona «Construye repeticiones de calibración con trivia y preguntas de almanaque de bajo riesgo»?

La habilidad de calibración, como cualquier habilidad, requiere repetición con retroalimentación. Las decisiones del mundo real se resuelven lentamente, tienen altas apuestas emocionales que distorsionan la puntuación honesta, y ocurren con demasiada poca frecuencia para la iteración rápida. Las preguntas de trivia y almanaque proporcionan práctica de alto volumen y retroalimentación inmediata en un dominio sin interferencia emocional, convirtiéndolas en un entorno de entrenamiento ideal para la habilidad metacognitiva subyacente que se transfiere a predicciones de alto riesgo.

¿Cómo funciona «Distingue la incertidumbre (cuantificable) de la ignorancia (no cuantificable)»?

La distinción de Knight entre riesgo (incertidumbre cuantificable) e incertidumbre (no cuantificable) importa prácticamente: asignar una probabilidad del 60% a un evento requiere una clase de referencia o un modelo. Cuando ninguno existe, el número es un sentimiento disfrazado de estadística. Distinguir entre ambos previene que la falsa precisión enmascare la ignorancia genuina, y provoca la respuesta honesta: "No tengo suficiente información para poner un número calibrado en esto."