Rastrea tus estimaciones y calíbralas

Compara tus estimaciones de Fermi con las cifras reales cuando puedas, y usa la brecha para mejorar futuras estimaciones.

Why it works

La habilidad de estimación de Fermi se construye a través de ciclos de retroalimentación — comparar estimaciones con valores reales revela sesgos sistemáticos (por ejemplo, subestimar consistentemente la población o sobrestimar tasas) que pueden corregirse con conciencia. Sin retroalimentación, la habilidad de estimación se estanca al nivel de la intuición; con retroalimentación, mejora de forma medible hacia una calibración experta.

How to do it

1. Lleva un registro de las estimaciones hechas y los valores reales cuando estén disponibles.
2. Identifica sesgos direccionales sistemáticos: ¿tus estimaciones son consistentemente altas o bajas en ciertos tipos de cantidades?
3. Aplica un factor de corrección en los dominios donde has identificado un sesgo persistente.
4. Revisa el registro trimestralmente y anota dónde ha mejorado la calibración y dónde no.

Evidencia

La investigación sobre entrenamiento en pronósticos muestra consistentemente que la retroalimentación sobre la precisión de las predicciones, combinada con reflexión estructurada, produce estimadores sustancialmente mejor calibrados. La ventaja de los superpronosticadores se explica significativamente por su práctica de revisar y actualizar según los resultados de las predicciones. (observational)

La mejora de la calibración requiere suficientes predicciones en un dominio para que la retroalimentación sea estadísticamente significativa; en dominios de baja frecuencia, las ganancias de calibración son lentas.

Fuentes

• Tetlock & Gardner (2015), Superforecasting — tracking records as the engine of calibration improvement
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171.
• Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological Strategies for Winning a Geopolitical Forecasting Tournament. Psychological Science, 25(5), 1106-1115.

Error común

Verificar una estimación contra la realidad una sola vez y concluir que estás bien calibrado — la calibración es una propiedad estadística visible solo a través de muchas predicciones.