Pontue suas próprias previsões passadas para calibrar seu uso da visão externa

Mantenha um registro de previsões e pontue-o — você não consegue melhorar a calibração sem feedback sobre onde teve excesso ou falta de confiança.

Why it works

Calibração é o alinhamento entre confiança declarada e precisão real. A maioria das pessoas nunca descobre o quão bem calibradas estão porque não acompanha suas previsões. Sem esse ciclo de retroalimentação, a adoção da visão externa permanece uma boa intenção em vez de uma habilidade. Pontuar força o sistema a produzir sinais de erro legíveis e cria as condições para melhoria genuína.

How to do it

1. Comece a registrar previsões significativas com estimativas de probabilidade: "70% de chance de isso levar menos de três meses."
2. Defina um lembrete no calendário para registrar o resultado quando ele se resolver.
3. Calcule sua calibração ao longo do tempo: de tudo que você disse ter 70% de probabilidade, aproximadamente 70% aconteceu?
4. Identifique domínios em que você está sistematicamente com excesso ou falta de confiança e ajuste sua ancoragem de taxa de base de acordo.

Evidência

A pesquisa do torneio de previsão de Tetlock descobriu que acompanhar e pontuar previsões é o mecanismo de feedback que separa superprevisores do resto — aqueles que acompanharam e refletiram melhoraram substancialmente, enquanto os que não o fizeram estagnaram. (observational)

A pontuação de calibração exige um volume suficiente de previsões pontuadas para ser estatisticamente significativa; decisões individuais de vida não se resolvem com frequência suficiente para produzir curvas de calibração limpas no curto prazo.

Fontes

• Tetlock & Gardner (2015), Superforecasting

Erro comum

Registrar previsões em linguagem natural em vez de probabilidades explícitas, tornando a calibração retrospectiva impossível — "eu achava que era provável" não pode ser pontuado.