Exija que o plano mude, não apenas o documento de riscos

Um exercício de red team que não muda o plano não realizou nada.

Why it works

As descobertas do red team costumam ser registradas num documento de riscos e depois deixadas de lado, mantendo o plano original inalterado. Isso acontece porque as descobertas do red team são enquadradas como uma lista de preocupações, e não como insumos que exigem uma resposta. O mecanismo de valor no red teaming é a adaptação do plano: o plano melhora porque é exposto à pressão adversária, não porque as preocupações adversárias são documentadas e arquivadas.

How to do it

1. Depois da sessão de red team, liste as três principais descobertas junto com uma resposta obrigatória para cada uma.
2. As respostas devem ser uma de: mudar o plano para resolvê-la, aceitar o risco com justificativa explícita, ou anotar um teste que a resolverá.
3. Revise o plano em relação às descobertas antes de finalizá-lo — qualquer descoberta sem resposta registrada é uma lacuna.
4. Programe uma verificação de acompanhamento seis semanas depois para confirmar que as respostas realmente se sustentaram.

Evidência

O valor da revisão adversária é função de as descobertas serem ou não colocadas em prática. Pesquisas sobre aprendizado organizacional mostram que ciclos de feedback que produzem respostas superam aqueles que produzem apenas documentação sem adaptação. (mechanistic)

Raciocínio fundamentado na teoria do aprendizado organizacional; não é uma descoberta estudada especificamente sobre red team. A exigência específica de mudar o plano ou aceitar explicitamente o risco é um protocolo de prática.

Erro comum

Tratar o exercício do red team como concluído quando o relatório é escrito. O relatório não é o resultado — o plano revisado é. Se o plano não mudou, o red team foi teatro.