Resposta rápida: todo teste A/B precisa de exatamente uma métrica primária (a que decide o vencedor, escolhida antes de começar), algumas secundárias (que explicam o resultado) e 2–3 de guarda (que garantem que a vitória não veio com estrago escondido). Quem decide com cinco métricas "principais" não decide — escolhe depois a que agradou.
A métrica primária: uma, escolhida antes
A primária é o contrato do teste: se ela subir com significância, a variante vence; se não, não vence. Três critérios para escolhê-la bem:
- Conectada à hipótese: se a hipótese fala em reduzir fricção do checkout, a primária é a conclusão da compra — não o tempo na página.
- Próxima o bastante para acontecer com frequência: métricas raras demandam amostras enormes (a conta está no guia de tamanho de amostra).
- Distante o bastante para importar: clique no botão é frequente, mas clique não paga boleto. O equilíbrio típico: a conversão macro da página ou a micro imediatamente anterior.
O motivo de escolher antes é estatístico, não burocrático: olhar dez métricas e destacar a que "deu significativa" é o problema das comparações múltiplas — com dez métricas a 95%, a chance de algum falso positivo passa de 40%. O guia de significância aprofunda.
As secundárias: o porquê do resultado
Secundárias não decidem — explicam. Se a primária é a compra, as secundárias típicas são as etapas do caminho: clique no CTA, adição ao carrinho, início do checkout, avanço de cada passo. Elas transformam um "variante venceu" em história: o novo título dobrou o clique, o carrinho segurou o ganho e a compra subiu 12%. É essa história que gera a próxima hipótese — o combustível do programa de experimentação.
As métricas de guarda: o seguro contra vitórias tóxicas
Guarda é a métrica que não pode piorar enquanto a primária melhora. Exemplos clássicos:
- Urgência agressiva sobe conversão… e sobe devolução e cancelamento junto.
- Formulário encurtado gera mais leads… de qualidade muito pior.
- Desconto em destaque aumenta pedidos… e derruba o ticket médio.
- Pop-up converte mais e-mails… e piora rejeição e retorno — sinal ruim também para SEO, como explica testes A/B e SEO.
Declare as guardas junto com a primária e defina a régua: piora relevante em guarda anula a vitória ou exige investigação antes de publicar.
Receita vs conversão: qual primária escolher?
Taxa de conversão é binária e se comporta bem estatisticamente; receita por visitante carrega a variância brutal dos tickets (um pedido gigante balança tudo) e exige amostras bem maiores. Padrão pragmático: conversão como primária, receita e ticket médio como guardas. Exceção: hipóteses sobre preço e oferta, onde a receita é o próprio objeto do teste.
Erros de medição que invalidam tudo
- Trocar a primária no meio — o pecado capital. O teste vira torneio de conveniência.
- Primária que a variante não alcança: testar cor de botão com primária de receita anual é medir formiga com trena.
- Contar o evento errado: cliques no botão ≠ pedidos concluídos; confira a instrumentação antes, não depois.
- Ignorar o funil inteiro: mais leads com menos vendas não é vitória, é transferência de gargalo.
Perguntas frequentes
Posso ter duas primárias? Não sem custo: ou divide o rigor entre elas (correção de múltiplas comparações), ou aceita mais falsos positivos. Uma decide; a outra vira secundária de luxo.
E se a primária empatar mas uma secundária disparar? O teste é inconclusivo na decisão e generoso no aprendizado: a secundária vira hipótese do próximo teste, com ela de primária.
Quantas guardas são demais? Acima de 4–5, ninguém olha nenhuma. Escolha as que têm mecanismo plausível de piora.
Complete o desenho do experimento: como criar hipóteses e quanto tempo rodar.