Resposta rápida: para fazer um teste A/B, defina uma hipótese a partir de um dado real, escolha uma única métrica de sucesso, crie a variante, calcule a amostra necessária, rode o experimento por ciclos completos de semana sem interferir e decida com base na probabilidade estatística — não no gráfico do terceiro dia.
Passo 1 — Parta de um dado, não de um palpite
Todo bom teste começa com uma observação: o heatmap mostra cliques concentrados num elemento que não é clicável; o funil mostra 70% de abandono na etapa de frete; uma pesquisa revela que os visitantes não entendem o que está incluído no plano. O dado transforma "eu acho que o botão deveria ser verde" em "usuários demonstram intenção de compra que a página atual não converte".
Passo 2 — Escreva a hipótese
Use a estrutura: se [mudança], então [efeito esperado na métrica], porque [razão baseada no dado]. Exemplo: "Se destacarmos o frete grátis acima do botão de compra, então a conversão do produto aumentará, porque a pesquisa de abandono mostrou o frete como principal objeção." A hipótese que não couber nessa frase provavelmente são duas hipóteses — separe em dois testes. O processo completo está em Como criar hipóteses de CRO.
Passo 3 — Defina a métrica antes de começar
Uma métrica principal, definida antes, decide o vencedor. Métricas secundárias vigiam efeitos colaterais: se a variante aumenta cliques no botão mas derruba a compra concluída, você precisa ver isso. Escolher a métrica depois de olhar os resultados é a receita clássica para "encontrar" vitórias que não existem.
Passo 4 — Calcule a amostra e o prazo
Com a taxa de conversão atual e a melhoria mínima que interessa detectar, a calculadora de amostra devolve quantos visitantes o teste precisa por variante. Divida pelo seu tráfego diário e você tem o prazo. Se o prazo passar de 4–6 semanas, o teste como desenhado é inviável: aumente a ousadia da mudança (efeitos maiores são detectáveis com menos tráfego), teste numa página de mais volume ou repense o formato — o guia de tamanho de amostra detalha as opções.
Passo 5 — Crie a variante
No editor visual, altere o que a hipótese pede — texto, cor, imagem, posição, seção inteira — sem tocar no código do site. Antes de publicar, revise a variante em desktop e mobile: uma variante quebrada no celular não é um teste, é um vazamento de conversão. Para mudanças estruturais profundas, use código na variante ou um split test entre URLs.
Passo 6 — Configure público e amostragem
Decida quem participa: todos os visitantes ou um segmento (origem, dispositivo, comportamento). Um teste de headline institucional pode rodar para todos; um teste no fluxo de assinatura talvez só faça sentido para visitantes recorrentes. Defina também a porcentagem de tráfego exposta — mudanças arriscadas podem começar em 50% ou menos.
Passo 7 — Rode sem mexer
Durante o teste: não altere as versões, não pause e retome, não mude a alocação de tráfego no meio. Qualquer intervenção contamina os grupos. Acompanhe as métricas para detectar bugs — queda brutal e imediata numa variante geralmente é erro técnico, não comportamento — mas resista à tentação de "espiar e decidir" cedo.
Passo 8 — Leia o resultado e registre o aprendizado
Com a amostra atingida e ciclos completos de semana, avalie a probabilidade de a variante ser melhor. Acima do limiar combinado (95% é o padrão), implemente. Abaixo, o teste é inconclusivo — e inconclusivo também é aprendizado: aquela mudança não move o ponteiro o suficiente para importar. Registre hipótese, resultado e decisão num histórico central; é isso que transforma testes isolados num programa de experimentação.
Checklist final antes de apertar o botão
- A hipótese nasce de um dado e cabe numa frase se/então/porque.
- A métrica principal foi definida antes do teste.
- A amostra necessária foi calculada e o prazo é viável.
- A variante foi revisada em desktop e mobile.
- Público e amostragem estão configurados de propósito, não por padrão.
- Ninguém vai mexer no teste até a amostra ser atingida.
Perguntas frequentes
Posso rodar dois testes ao mesmo tempo? Sim, se forem em páginas ou fluxos diferentes. Dois testes na mesma página exigem cuidado, porque um interfere na leitura do outro.
E se o resultado der empate? Implemente a versão mais simples de manter e teste a próxima hipótese. Empate com menos código é vitória.
Quantos testes por mês são possíveis? Depende do tráfego. Operações com pouco volume aprendem mais concentrando os testes nas páginas de maior movimento.
Pronto para o primeiro experimento? Conheça o Teste A/B Web ou veja os planos.