Teste de transferência com instâncias novas

Teste periodicamente sua habilidade perceptual em exemplos que você nunca viu para verificar o aprendizado genuíno.

Why it works

A aprendizagem perceptual é genuína quando se transfere para instâncias novas — ela extraiu a estrutura da categoria, e não memorizou exemplos específicos. Testar em exemplos retidos que nunca foram mostrados durante o treinamento é a única verificação confiável. Sem isso, um aprendiz pode acumular alta precisão durante o treinamento enquanto sua discriminação real depende de detalhes memorizados que não vão se repetir no campo.

How to do it

1. Reserve 20% do seu conjunto de exemplos antes do treinamento e nunca os mostre durante a prática.
2. Depois que o treinamento atingir um critério (ex.: 85% de precisão), teste no conjunto retido, sem aquecimento.
3. Se a precisão do conjunto retido ficar mais de 10% atrás da precisão do treinamento, você memorizou em vez de generalizar.
4. Adicione exemplos mais variados e repita o ciclo.

Evidência

O teste de transferência é metodologicamente padrão na pesquisa PLM de Kellman como o critério para aprendizagem perceptual genuína. Estudos que omitem testes de transferência superestimam sistematicamente o aprendizado ao confundir familiaridade com discriminação. (mechanistic)

O limiar de 10% de lacuna é uma heurística prática, não um padrão empiricamente derivado.

Fontes

• Kellman & Garrigan (2009), "Perceptual learning and human expertise," Physics of Life Reviews

Erro comum

Medir o progresso apenas em exemplos já vistos, o que infla a confiança e deixa o aprendiz despreparado quando instâncias do mundo real diferem do seu conjunto de treinamento.