How does Treat small samples with explicit skepticism work?

The representativeness heuristic is insensitive to sample size: people judge the probability of a sequence of results with 4 observations the same way they judge one with 40. But the smaller the sample, the higher the variance — extreme or patterned results are far more likely by chance. Recognizing that small samples are unreliable corrects the tendency to read meaning into early results and make premature generalizations.

What is the most common mistake with Treat small samples with explicit skepticism?

Widening confidence intervals numerically but still acting on the point estimate — the adjustment must change the decision, not just the verbal acknowledgment of uncertainty.

Trata las muestras pequeñas con escepticismo explícito

Una secuencia corta puede parecer representativa sin ser estadísticamente fiable: ajusta tu confianza al tamaño muestral.

Why it works

La heurística de representatividad es insensible al tamaño muestral: la gente juzga la probabilidad de una secuencia de resultados con 4 observaciones igual que una con 40. Pero cuanto menor es la muestra, mayor es la varianza: los resultados extremos o con patrón son mucho más probables por azar. Reconocer que las muestras pequeñas no son fiables corrige la tendencia a leer significado en resultados tempranos y a hacer generalizaciones prematuras.

How to do it

Cuando extraigas una conclusión a partir de datos, anota el tamaño muestral de forma explícita.
Pregunta: «Si la verdad subyacente fuera aleatoria, ¿con qué frecuencia vería por azar un resultado tan extremo en una muestra tan pequeña?».
Reserva las conclusiones firmes hasta tener una muestra que haga inverosímiles las explicaciones por azar.
Si no puedes conseguir una muestra mayor, amplía tu intervalo de confianza en lugar de estrechar tu conclusión.

Evidencia

La «ley de los números pequeños» (Tversky y Kahneman, 1971) describe la creencia errónea de que las muestras pequeñas son tan representativas como las grandes. Está bien replicada tanto en poblaciones legas como expertas, incluidos psicólogos razonando sobre potencia estadística. (observational)

El escepticismo ante muestras pequeñas puede sobrecorregirse: no todo resultado temprano debería descartarse; la actualización bayesiana con una probabilidad previa razonable está mejor calibrada que un escepticismo generalizado.

Sources

Tversky & Kahneman (1971), Belief in the law of small numbers, Psychological Bulletin

Common mistake

Ampliar los intervalos de confianza numéricamente pero seguir actuando según la estimación puntual: el ajuste debe cambiar la decisión, no solo el reconocimiento verbal de la incertidumbre.

Practica esto con IX Coach

Start with IX Coach

7 days free, then $40/month (~$1.30/day).