Rastrea tus estimaciones y calíbrate

Compara tus estimaciones de Fermi con las cifras reales cuando puedas, y usa la brecha para mejorar las estimaciones futuras.

Why it works

La habilidad de la estimación de Fermi se construye mediante bucles de retroalimentación: comparar las estimaciones con los valores reales revela sesgos sistemáticos (p. ej., subestimar de forma constante la población o sobrestimar las tasas) que pueden corregirse con conciencia. Sin retroalimentación, la habilidad de estimación se estanca en el nivel de la intuición; con retroalimentación, mejora de forma medible hacia la calibración experta.

How to do it

1. Lleva un registro de las estimaciones hechas y de los valores reales cuando estén disponibles.
2. Identifica sesgos direccionales sistemáticos: ¿tus estimaciones son consistentemente altas o bajas en ciertos tipos de cantidades?
3. Aplica un factor de corrección a los dominios donde hayas identificado un sesgo persistente.
4. Revisa el registro cada trimestre y anota dónde ha mejorado la calibración y dónde no.

Evidencia

La investigación sobre entrenamiento de pronóstico muestra de forma consistente que la retroalimentación sobre la precisión de las predicciones, combinada con una reflexión estructurada, produce estimadores sustancialmente mejor calibrados. La ventaja de los superpronosticadores se explica en buena parte por su práctica de revisar y actualizar según los resultados de las predicciones. (observational)

La mejora de la calibración requiere suficientes predicciones en un dominio para que la retroalimentación sea estadísticamente significativa; en dominios de baja frecuencia, las ganancias de calibración son lentas.

Sources

• Tetlock & Gardner (2015), Superforecasting — tracking records as the engine of calibration improvement

Common mistake

Comprobar una estimación frente a la realidad una sola vez y concluir que estás bien calibrado: la calibración es una propiedad estadística visible solo a lo largo de muchas predicciones.