Como ler o resultado de um teste

A GoAB indica a vencedora para você

Você não precisa fazer contas. Assim que uma variante atende a todos os critérios de validação estatística, a plataforma exibe um card de destaque no topo do experimento anunciando a vencedora, com o nível de confiança, a melhoria em relação ao controle e a recomendação de próxima ação.

Exemplo real de leitura: "Variant 1 — Esta variante atendeu a todos os critérios de validação estatística e pode ser considerada vencedora com 100% de confiança. Melhoria: +123% em relação ao controle. É recomendado desligar o experimento."

Enquanto isso não acontece, o teste continua coletando dados — e é normal. Um resultado só é confiável quando a plataforma diz que é.

O cabeçalho do experimento

No topo da tela você vê o nome do teste, a hipótese registrada (ou "Nenhuma hipótese definida"), a data de criação e as etiquetas de contexto:

• Tipo do teste — A/B, por exemplo.
• Status — Ativo ou Pausado. O botão à direita liga e desliga o experimento.
• Tempo no ar — quanto tempo o teste está rodando.

Resumo

Três cartões dão a leitura rápida do experimento:

• Visitantes totais — quantas pessoas participaram do teste até agora.
• Audiência — a porcentagem do tráfego alocada ao experimento (ex.: 50%).
• Probabilidade de ser a melhor — o número principal da leitura bayesiana. Quando chega a um nível alto (ex.: 100%), a plataforma marca a variante vencedora ao lado.

Resultados

Aqui está a tabela comparativa. No seletor Métrica, escolha qual indicador quer analisar — a métrica marcada como Principal é a que decide o vencedor; as secundárias servem para observar efeitos colaterais.

Cada linha é uma versão (Controle, Variant 1, Variant 2…) com o número de usuários e as colunas:

• Conversões — quantas vezes a ação de sucesso aconteceu naquela versão.
• Taxa de Conversões — conversões dividido por usuários. É o percentual que você compara entre as versões.
• Prob. de vencer a controle — a chance de aquela variante ser melhor que a página original.
• Prob. de ser a melhor — a chance de ela ser a melhor entre todas as versões do teste. É a coluna que aponta a vencedora.
• Melhoria — quanto a variante cresceu (verde, com seta para cima) ou caiu (vermelho, com seta para baixo) em relação ao controle.

A linha da vencedora aparece destacada, com um troféu ao lado do nome.

Lendo um exemplo

Em um teste com quatro versões e 2.768 visitantes:

• Controle — 711 usuários, 60 conversões, taxa de 8,44%.
• Variant 1 🏆 — 713 usuários, 134 conversões, taxa de 18,79%, 100% de probabilidade de vencer a controle, 100% de probabilidade de ser a melhor e melhoria de +123%.
• Variant 2 — 657 usuários, taxa de 8,98%, 64% de probabilidade de vencer a controle, 0% de ser a melhor e melhoria de −2%.
• Variant 3 — 687 usuários, taxa de 11,79%, 98% de probabilidade de vencer a controle, 0% de ser a melhor e melhoria de +35%.

Repare em dois pontos importantes: a Variant 3 é melhor que o controle (98%), mas perde para a Variant 1 — por isso sua probabilidade de ser a melhor é 0%. E a Variant 2, apesar dos 64% de chance de vencer a controle, tem melhoria negativa: ainda não há sinal de ganho real ali.

Visualização dos dados

A seção final mostra os mesmos números em cinco visualizações — escolha o período com o filtro Todo o período:

• Distribuição Posterior — uma curva por versão sobre o eixo de taxa de conversão. Quanto mais separada e à direita a curva, melhor a versão. Curvas muito sobrepostas significam que ainda não há diferença clara entre elas.
• Box plot — mostra a faixa provável de cada versão em barras horizontais. Quando a barra de uma variante não encosta na do controle, a diferença é consistente.
• Intervalo de Credibilidade — o mesmo desenho com as faixas de 95%, 80% e 50% de credibilidade e a média marcada. Faixas que não se cruzam indicam vencedor claro.
• Resultado diários — a evolução do resultado dia a dia, útil para ver se o ganho se manteve estável.
• Conversões diárias — o volume de conversões por dia de cada versão.

Quando encerrar o teste

• Encerre quando a plataforma indicar a vencedora com confiança alta e o card de destaque recomendar desligar o experimento.
• Evite decidir nos primeiros dias: resultados iniciais oscilam muito e podem apontar um vencedor que não se confirma.
• Se nenhuma variante vencer, isso também é resultado: a mudança não teve impacto. Mantenha a versão atual e teste uma nova hipótese.
• Depois de decidir, implemente a versão vencedora de forma definitiva no site e desligue o experimento.

Dúvidas frequentes

O que significa "Prob. de ser a melhor" em 0%?
Que existe outra versão claramente superior àquela — mesmo que ela seja melhor que o controle.

Uma variante pode vencer a controle e não ser a vencedora do teste?
Sim. É o caso da Variant 3 no exemplo: ganha do controle, mas perde para a Variant 1.

Por que a melhoria aparece em vermelho?
Porque a taxa de conversão daquela versão ficou abaixo do controle. Vermelho com seta para baixo significa queda.

Posso confiar no resultado com poucos visitantes?
Não. Volume baixo produz curvas largas e sobrepostas na Distribuição Posterior. Espere a validação estatística da plataforma.

Onde vejo as métricas secundárias?
No seletor Métrica, dentro de Resultados: troque a métrica e a tabela recalcula para o indicador escolhido.

Glossário

• Conversão — cada vez que um usuário realiza a ação de sucesso do teste.
• Taxa de conversão — conversões divididas pelo número de usuários da versão.
• Prob. de vencer a controle — chance de a variante ser melhor que a página original.
• Prob. de ser a melhor — chance de a variante ser a melhor entre todas as versões.
• Melhoria (lift) — diferença percentual da variante em relação ao controle.
• Confiança — grau de certeza estatística de que o resultado não foi sorte.
• Distribuição posterior — curva com as taxas de conversão mais prováveis de cada versão.
• Intervalo de credibilidade — faixa dentro da qual a taxa real da versão provavelmente está.