Praticar a estimativa de intervalos de confiança

Estime faixas para quantidades factuais e verifique quantas vezes o valor real cai dentro da sua faixa.

Why it works

Um intervalo de confiança de 90% deveria conter o valor real 90% das vezes. Os intervalos de 90% da maioria das pessoas são estreitos demais — os valores reais caem fora deles 30–50% das vezes, refletindo excesso de confiança severo na precisão. Praticar a estimativa de intervalos com feedback imediato recalibra a sensação interna de "quanto eu sei", o que se transfere para uma expressão mais honesta de incerteza nas decisões.

How to do it

1. Faça um quiz de calibração: para cada pergunta factual, declare uma faixa em que você tem 90% de confiança de que contém a resposta verdadeira.
2. Depois de cada lote de perguntas, avalie quantas vezes o valor real estava dentro da sua faixa.
3. Se seus intervalos de 90% contêm a resposta certa menos de 90% das vezes, amplie suas faixas na próxima rodada.
4. Repita semanalmente até que seus intervalos de 90% genuinamente acertem 90% das vezes — isso é calibração.

Evidência

Múltiplos estudos sobre treino de probabilidade descobriram que exercícios de intervalo de confiança com feedback reduzem significativamente o excesso de confiança em testes de calibração, com efeitos que persistem por semanas. Esta está entre as formas mais diretamente apoiadas de correção de viés. O estudo fundacional de treino de avaliadores de Alpert e Raiffa documentou a assinatura reveladora — os supostos intervalos de 98% das pessoas erram o valor real muito mais do que 2% das vezes — e mostrou que a lacuna diminui quando os avaliadores recebem feedback sobre onde suas faixas falharam. (observational)

As melhorias de calibração em tarefas de treino não se transferem totalmente para domínios novos; a calibração é parcialmente específica de domínio e exige feedback em cada domínio para ser confiável.

Fontes

• Lichtenstein, Fischhoff & Phillips (1982), "Calibration of subjective probabilities," in Judgment Under Uncertainty: Heuristics and Biases
• Tetlock & Gardner (2015), Superforecasting — calibration training modules
• Alpert, M., & Raiffa, H. (1982). A progress report on the training of probability assessors. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 294–305). Cambridge University Press.
• Lichtenstein, S., Fischhoff, B., & Phillips, L. D. (1982). Calibration of probabilities: The state of the art to 1980. In D. Kahneman, P. Slovic, & A. Tversky (Eds.), Judgment Under Uncertainty: Heuristics and Biases (pp. 306–334). Cambridge University Press.

Erro comum

Ampliar todas as faixas de forma uniforme em vez de aprender a discriminar — uma pessoa bem calibrada tem faixas estreitas quando genuinamente sabe algo e amplas quando não sabe, não faixas uniformemente amplas.