Acompanhe sua calibração ao longo de muitas previsões

Avalie seus níveis de confiança contra os resultados em dezenas de previsões para encontrar seus vieses sistemáticos.

Why it works

Uma única decisão te diz quase nada sobre a qualidade da sua tomada de decisão — os resultados são ruidosos demais. A calibração — a correspondência entre a confiança declarada e a precisão real — só se torna visível ao longo de muitas previsões. Se você diz "80% confiante" em 20 decisões e só está certo 50% das vezes, você está sistematicamente superconfiante nesse nível, e o diário te dá os dados para ver isso.

How to do it

1. Ao registrar cada decisão, atribua uma probabilidade ao seu resultado esperado (por exemplo, 70%).
2. Depois que os resultados forem conhecidos, registre se o resultado bateu com a previsão.
3. Depois de 20 a 30 entradas, agrupe as previsões por faixa de confiança (50–60%, 70–80%, 90%+) e calcule sua taxa de acerto em cada faixa.
4. Se sua precisão fica atrás da sua confiança consistentemente, revise seus níveis de confiança para baixo nesse domínio.

Evidência

O treinamento de calibração — fazer previsões probabilísticas e avaliá-las contra resultados — é uma das poucas intervenções com evidência de melhorar genuinamente a precisão de previsão. A pesquisa de superprevisão mostrou que o acompanhamento explícito e o feedback reduzem a superconfiança. Lichtenstein e Fischhoff demonstraram que mesmo um treinamento breve com feedback de resultado melhorou mensuravelmente a calibração, estabelecendo que a lacuna confiança-precisão é treinável, e não fixa. (observational)

A evidência de superprevisão vem de torneios de previsão geopolítica; a transferência para decisões pessoais e profissionais é plausível, mas os tamanhos de efeito em decisões da vida cotidiana não estão diretamente estabelecidos. A calibração melhora com a prática, mas a superconfiança persiste mesmo em profissionais experientes.

Fontes

• Tetlock & Gardner (2015), Superforecasting: The Art and Science of Prediction
• Lichtenstein, S., & Fischhoff, B. (1980). Training for calibration. Organizational Behavior and Human Performance, 26(2), 149–171.
• Mellers, B., Stone, E., Murray, T., Minster, A., Rohrbaugh, N., Bishop, M., Chen, E., Baker, J., Hou, Y., Horowitz, M., Ungar, L., & Tetlock, P. (2015). Identifying and cultivating superforecasters as a method of improving probabilistic predictions. Perspectives on Psychological Science, 10(3), 267–281.
• Chang, W., Chen, E., Mellers, B., & Tetlock, P. (2016). Developing expert political judgment: The impact of training and practice on judgmental accuracy in geopolitical forecasting tournaments. Judgment and Decision Making, 11(5), 509–526.

Erro comum

Registrar decisões sem atribuir probabilidades, o que torna impossível acompanhar a calibração e deixa você apenas com um registro narrativo em vez de um estatístico.