Pratique a calibração probabilística acompanhando suas previsões
Atribua estimativas de probabilidade explícitas às suas previsões e acompanhe se elas se concretizam na taxa correta.
Why it works
A calibração — a correspondência entre a confiança declarada e a precisão real — é uma habilidade que pode ser aprendida. Pessoas que acompanham suas previsões ao longo do tempo e observam com que frequência afirmações de 70% de confiança realmente se concretizam desenvolvem ciclos de retroalimentação que corrigem o excesso ou a falta de confiança sistemáticos. Sem essa retroalimentação, a sensação de confiança gerada por informação vívida persiste sem correção.
How to do it
- Para qualquer previsão que você fizer, atribua uma probabilidade percentual: "Acho que há 70% de chance de X acontecer."
- Registre a previsão e o resultado.
- Depois de 20 a 30 previsões, verifique sua calibração: suas previsões de 70% estão se concretizando cerca de 70% das vezes?
Evidência
A pesquisa de calibração (incluindo o trabalho sobre superprevisores de Tetlock) mostra que acompanhar previsões com probabilidades explícitas melhora significativamente a precisão ao longo do tempo, por meio da correção de erros guiada por retroalimentação. (observational)
Fontes
- Tetlock & Gardner (2015), Superforecasting — calibration training and improvement across thousands of predictions
Erro comum
Atribuir probabilidades vagas ("bem provável") em vez de números específicos, o que impede verificações de calibração significativas porque a previsão não é refutável.
Pratique isso com IX Coach
More practices for Negligência da Taxa-Base: Por Que Ignoramos as Chances
- Pergunte a taxa-base antes de avaliar o caso específico
Antes de julgar qualquer instância individual, primeiro estabeleça com que frequência esse tipo de coisa acontece em geral.
- Use previsão por classe de referência para estimativas de projetos
Estime quanto tempo projetos semelhantes levaram historicamente antes de estimar seu projeto específico.
- Atualize crenças em graus, não por completo
Trate a nova informação como evidência que desloca probabilidades, não como prova que muda tudo.
- Sempre identifique o denominador ao avaliar risco ou sucesso
Quando um número ou uma história for marcante, pergunte: "De quantos casos totais?"
- Invoque deliberadamente a visão externa para decisões importantes
Para qualquer previsão de alto risco, force-se a começar por como as coisas normalmente acontecem, não por como sua situação parece.
- Espere regressão à média em resultados extremos
Desempenho incomumente bom ou ruim tende a ser seguido por desempenho mais mediano — não por causa do que você fez.
Conceitos relacionados
- Pensando, Rápido e Devagar, na Prática
Two systems, the biases they create, and when to slow down
- Pensamento Bayesiano: Como Atualizar Crenças Racionalmente
Holding beliefs as probabilities and updating them when evidence arrives
- Viés de Ancoragem em Negociação e Julgamento
Why the first number wins — the mechanism, and how to set and resist anchors