Resposta rápida: a maioria dos testes A/B que "deram errado" não falhou na estatística — falhou no protocolo. Os doze erros abaixo cobrem o ciclo inteiro, do desenho à leitura. Cada um tem o sintoma, o estrago e o antídoto.
Erros de desenho
1. Testar sem hipótese. "Vamos ver o que acontece" não é experimento, é loteria. Sem o se/então/porque, até a vitória é inútil — você não sabe o que aprendeu. Antídoto: hipótese escrita antes, ancorada em dado.
2. Misturar várias ideias na variante. Título novo + foto nova + botão novo = três hipóteses e zero conclusões atribuíveis. Antídoto: uma ideia por variante; ideias grandes coerentes valem, colchas de retalhos não.
3. Não calcular a amostra antes. Começar "para ver como vai" garante a tentação de parar no melhor momento do gráfico. Antídoto: calculadora antes do primeiro visitante; prazo inviável se descobre no papel, não na semana 9.
4. Escolher a métrica depois. Se a conversão não subiu "mas o engajamento melhorou", você não achou um resultado — fabricou um. Antídoto: métrica principal por escrito antes; secundárias servem de vigias, não de plano B.
Erros de execução
5. Mudar o teste no meio. Ajustar a variante, realocar tráfego, pausar e retomar — cada intervenção quebra a comparabilidade dos grupos. Antídoto: errou o desenho? Encerre e recomece limpo.
6. Ignorar o flicker. A página original piscando antes de a variante aplicar contamina a experiência medida. Antídoto: anti-flicker configurado e variante revisada em produção.
7. Variante quebrada no mobile. Metade do "resultado negativo" da história do CRO é bug de renderização não conferido. Antídoto: QA em desktop e mobile antes de publicar — sempre.
8. Testar durante anomalias. Black Friday, crise na mídia, pico de campanha fria: o público muda e leva o teste junto. Antídoto: janelas limpas, ou o período atípico inteiro dentro do teste — nunca metade.
Erros de leitura
9. Espiar e parar no pico. Acompanhar diariamente e encerrar no primeiro dia "significativo" multiplica falsos positivos. Antídoto: critério de parada definido antes; com leitura bayesiana, decisão antecipada só com probabilidade alta e estável — detalhes em significância estatística.
10. Encerrar sem ciclos completos de semana. Terça não representa sábado. Antídoto: múltiplos de 7 dias, mesmo com amostra fechada antes — veja quanto tempo rodar.
11. Ignorar métricas de guarda. A variante subiu cliques e afundou o ticket médio — e ninguém olhou. Antídoto: 2–3 métricas de guarda declaradas junto com a principal.
12. Descartar o inconclusivo. "Não deu nada" é informação: aquela mudança não move o ponteiro detectável. Antídoto: registrar no histórico com o mesmo carinho das vitórias — é o que impede o time do ano que vem de repetir o teste deste.
O metaerro que engloba todos
Tratar cada teste como evento isolado. Os doze antídotos acima cabem numa palavra: processo. Padrões combinados antes, ritual de leitura, histórico central — a estrutura do programa de experimentação é o que transforma disciplina individual em confiabilidade institucional.
Perguntas frequentes
Qual erro é o mais comum? O 9 (espiar e parar), disparado. É humano demais comemorar o gráfico de quarta-feira.
E o mais caro? O 4 (métrica depois) — porque produz vitórias falsas que calibram o time com aprendizado errado por anos.
Checklist em uma linha? Hipótese escrita, uma ideia, amostra calculada, métrica antes, QA nos dois dispositivos, mãos longe até fechar, semanas completas, guardas vigiadas, tudo registrado.
Agora o caminho feliz: como fazer um teste A/B, passo a passo.