Trate amostras pequenas com ceticismo explícito

Uma sequência curta pode parecer representativa sem ser estatisticamente confiável — ajuste a confiança para o tamanho da amostra.

Why it works

A heurística da representatividade é insensível ao tamanho da amostra: as pessoas julgam a probabilidade de uma sequência de resultados com 4 observações da mesma forma que julgam uma com 40. Mas quanto menor a amostra, maior a variância — resultados extremos ou padronizados são muito mais prováveis por acaso. Reconhecer que amostras pequenas são pouco confiáveis corrige a tendência de ler significado em resultados iniciais e fazer generalizações prematuras.

How to do it

1. Ao tirar uma conclusão a partir de dados, escreva explicitamente o tamanho da amostra.
2. Pergunte: "se a verdade subjacente fosse aleatória, com que frequência eu veria um resultado tão extremo por acaso em uma amostra desse tamanho?"
3. Retenha conclusões confiantes até ter uma amostra que torne explicações de acaso implausíveis.
4. Se não puder obter uma amostra maior, amplie seu intervalo de confiança em vez de estreitar sua conclusão.

Evidência

A "lei dos pequenos números" (Tversky & Kahneman, 1971) descreve a crença equivocada de que amostras pequenas são tão representativas quanto grandes. Isso é bem replicado tanto em populações leigas quanto especializadas, incluindo psicólogos raciocinando sobre poder estatístico. (observational)

O ceticismo de amostra pequena pode ser supercorrigido — nem todo resultado inicial deve ser descartado; a atualização bayesiana usando um prior razoável é mais calibrada que o ceticismo generalizado.

Fontes

• Tversky & Kahneman (1971), Belief in the law of small numbers, Psychological Bulletin

Erro comum

Ampliar intervalos de confiança numericamente mas ainda agir sobre a estimativa pontual — o ajuste precisa mudar a decisão, não apenas o reconhecimento verbal da incerteza.