Acompanhe suas estimativas e calibre

Compare suas estimativas de Fermi com números reais quando puder, e use a lacuna para melhorar estimativas futuras.

Why it works

A habilidade de estimativa de Fermi é construída por ciclos de feedback — comparar estimativas com valores reais revela vieses sistemáticos (por exemplo, subestimar consistentemente a população ou superestimar taxas) que podem ser corrigidos com consciência. Sem feedback, a habilidade de estimativa estagna no nível da intuição; com feedback, ela melhora mensuravelmente em direção à calibração especializada.

How to do it

1. Mantenha um registro das estimativas feitas e dos valores reais quando disponíveis.
2. Identifique vieses direcionais sistemáticos: suas estimativas são consistentemente altas ou baixas para certos tipos de quantidades?
3. Aplique um fator de correção a domínios onde você identificou um viés persistente.
4. Revise o registro trimestralmente e anote onde a calibração melhorou e onde não melhorou.

Evidência

A pesquisa em treinamento de previsão mostra consistentemente que o feedback sobre a precisão da previsão, combinado com reflexão estruturada, produz estimadores substancialmente melhor calibrados. A vantagem dos superprevisores é significativamente explicada por sua prática de revisar e atualizar com base nos resultados de previsão. (observational)

A melhora de calibração exige previsões suficientes em um domínio para que o feedback seja estatisticamente significativo; em domínios de baixa frequência, os ganhos de calibração são lentos.

Fontes

• Tetlock & Gardner (2015), Superforecasting — tracking records as the engine of calibration improvement
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149-171.
• Mellers, B., Ungar, L., Baron, J., Ramos, J., Gurcay, B., Fincher, K., Scott, S. E., Moore, D., Atanasov, P., Swift, S. A., Murray, T., Stone, E., & Tetlock, P. E. (2014). Psychological Strategies for Winning a Geopolitical Forecasting Tournament. Psychological Science, 25(5), 1106-1115.

Erro comum

Verificar uma estimativa contra a realidade uma vez e concluir que você está bem calibrado — a calibração é uma propriedade estatística visível apenas ao longo de muitas previsões.