Como criar um Teste A/B em Aplicativo

O que é um teste A/B em aplicativo

É uma forma de comparar duas versões do seu app com usuários reais e descobrir, com dados, qual delas gera mais resultado.

Exemplo usado neste manual: um app de delivery quer descobrir se mudar a cor do botão Finalizar pedido de azul para verde aumenta o número de compras.

As cinco etapas da criação

1. Detalhes — nome, hipótese e configurações técnicas do teste.
2. Variantes — as versões que serão comparadas entre si.
3. Audiência — quantos usuários vão participar do teste.
4. Métricas — como o sucesso do teste será medido.
5. Resumo — revisão final antes de salvar e publicar.

Criando o teste

No menu lateral, acesse Teste Aplicativo e clique no botão + Criar Teste de Aplicativo, no canto superior direito. Nessa mesma tela você acompanha todos os seus testes e os resultados de cada um.

Etapa 1 — Detalhes

Informações básicas

Para que serve: identificar o teste e registrar o que você espera que aconteça.

• Nome do teste: use um nome que qualquer pessoa do time entenda, como "Cor do botão — Finalizar pedido".
• Hipótese (opcional): siga o formato Se [mudança], então [resultado esperado], porque [motivo].

Exemplo: "Se o botão Finalizar pedido ficar verde, então mais pessoas vão concluir a compra, porque o botão terá mais destaque na tela."

Sistema Operacional

Para que serve: definir em quais celulares o experimento vai rodar — iPhone (iOS), Android ou os dois.

• Marque as caixas iOS e/ou Android.
• Se a mudança existe igual nos dois sistemas, mantenha os dois marcados — o teste alcança mais usuários e o resultado sai mais rápido.
• Desmarque um sistema apenas se a mudança só existir (ou só fizer sentido) nele.

Configuração de Aplicativo

Para que serve: dizer à GoAB em qual aplicativo o teste vai acontecer, usando o identificador oficial do app nas lojas.

• Configuração de Pacote — identifica o app pelo nome do pacote, algo como com.suaempresa.app. É a opção mais comum.
• Configuração de Versão do Pacote — limita o teste a versões específicas do app, útil quando a mudança só existe nas versões mais novas.
• Configuração de User IDs — restringe o teste a usuários específicos, ideal para validar com o time interno antes de liberar para todos.

Escolha a opção em Nome do Campo e preencha o valor correspondente no campo ao lado. Use + Adicionar Configuração para combinar mais de uma condição.

Evento de Ativação

Para que serve: definir o momento em que o usuário entra no teste. O experimento só "liga" para quem realizar essa ação dentro do app.

• Condição do Evento: escolha como o evento será comparado — Igual a, Diferente de, Contém, Começa com, Maior que, entre outras. Para a maioria dos testes, "Igual a" com o nome exato do evento é suficiente.
• Nome do Evento: digite o evento que seu app já registra, como screen_view, button_click ou purchase.
• Propriedades do Evento: refine a regra — por exemplo, só a tela de checkout, e não qualquer tela.

Ação no app: esses eventos precisam já estar sendo registrados pelo aplicativo — é o time técnico quem os configura ao integrar a GoAB.

Chaves do Experimento

Para que serve: a chave é a "peça" do app que vai mudar entre as versões. O app lê o valor da chave e se ajusta — sem precisar de atualização na loja.

• Nome da chave: o nome combinado com o time técnico, como button_color.
• Tipo: String = texto (ex.: "verde"); Number = número (ex.: 10); Boolean = verdadeiro/falso; JSON = estrutura de dados completa, para casos avançados.
• Valor padrão: o valor de segurança, usado quando o usuário não está no teste. No exemplo: button_color · String · azul — a cor que o app já usa hoje.

Ação necessária no app: o time técnico precisa preparar o aplicativo, uma única vez, para ler cada chave e aplicar o valor recebido. Sem isso, a variante não muda nada na tela.

Etapa 2 — Variantes

Para que serve: criar as versões que serão comparadas. Control é o app como ele é hoje; Variante 1 é a versão com a mudança.

• Em cada versão, informe a mesma chave criada na etapa anterior, mudando apenas o Valor. Control: button_color = azul · Variante 1: button_color = verde.
• + Adicionar Variante cria mais versões (um teste A/B/C, por exemplo).

Dica: teste uma mudança por vez. Se a variante mudar cor, texto e posição ao mesmo tempo, você não saberá o que causou o resultado.

Etapa 3 — Audiência

Para que serve: definir a amostragem — a porcentagem dos seus usuários que vai participar do teste. Quem participa é dividido igualmente entre as versões.

• Arraste o controle ou digite a porcentagem (ex.: 100%).
• A barra mostra a divisão: C (50%) vê o app atual, V1 (50%) vê a mudança.
• E = Excluído é quem fica fora do teste — essas pessoas continuam vendo o app normal, com o valor padrão.

Dica: com 100%, o resultado chega mais rápido. Se a mudança for arriscada, comece com uma porcentagem menor e aumente depois.

Etapa 4 — Métricas

Métrica principal

Para que serve: é o número que decide o vencedor do teste. Escolha a ação que representa sucesso para você.

• Nome da métrica: um nome claro, como "Pedidos finalizados".
• Condição + Evento: o evento do app que representa o sucesso — no exemplo, purchase. Ele precisa já estar sendo registrado pelo aplicativo.
• Tipo de metrificação: Contagem de Evento conta quantas vezes o evento acontece (o tipo mais comum); Soma de valor soma um número enviado pelo evento, como receita total; Média de valor calcula a média, como ticket médio.

Métricas secundárias

São opcionais e não decidem o vencedor — servem para observar se a mudança causou algum efeito colateral, bom ou ruim. Clique em + Adicionar métrica secundária e preencha da mesma forma que a principal. Adicione 1 a 3 métricas; mais que isso costuma confundir a leitura do resultado.

Etapa 5 — Resumo e publicação

• Revise nome, evento de ativação, chaves, variantes, audiência e métricas.
• Se uma etapa aparecer com selo vermelho no topo, falta um campo obrigatório nela — clique para voltar e completar.
• Clique em Salvar. O teste fica com status Pronto e pode ser publicado quando você quiser.

Depois de publicar, o teste aparece como Ativo na tela Teste Aplicativo, onde você acompanha visitantes, conversões e o vencedor em tempo real.

Dúvidas frequentes

Preciso atualizar o app na loja para cada teste?
Não. As chaves do experimento são lidas remotamente — a mudança chega aos usuários sem nova versão do app.

Quanto tempo o teste deve rodar?
Até acumular visitantes suficientes para um resultado confiável — em geral, de 1 a 4 semanas. Evite encerrar nos primeiros dias.

Quando sei que tenho um vencedor?
Quando a GoAB indicar o vencedor com nível de confiança de 95%. Antes disso, a coluna Vencedor mostra "Coletando dados".

Posso alterar um teste que já está ativo?
Evite. Mudanças no meio do caminho distorcem o resultado. Se precisar, pause o teste e crie uma nova versão dele.

O que acontece com quem está no grupo Excluído?
Nada muda para essas pessoas: elas continuam vendo o app com o valor padrão das chaves e não entram nos resultados.

E se nenhuma versão vencer?
Também é um resultado: a mudança não teve impacto. Mantenha a versão atual e teste uma nova hipótese.

Glossário

• Controle (C) — a versão atual do app, usada como base de comparação.
• Variante — uma versão do app com a mudança que está sendo testada.
• Chave — o item do app que muda de valor entre as versões (ex.: button_color).
• Valor padrão — o valor de segurança da chave, visto por quem está fora do teste.
• Evento — uma ação registrada pelo app, como abrir uma tela ou concluir uma compra.
• Evento de ativação — a ação que faz o usuário entrar no teste.
• Métrica principal — o número que define qual versão venceu o teste.
• Amostragem — a porcentagem de usuários que participa do experimento.
• Conversão — cada vez que um usuário realiza a ação de sucesso do teste.
• Confiança (95%) — o grau de certeza estatística de que o resultado não foi sorte.