Resposta rápida: o tamanho de amostra é o número de visitantes que cada versão do teste precisa receber para que o resultado seja confiável. Ele depende de três fatores: a taxa de conversão atual, a menor melhoria que você quer conseguir detectar (MDE) e o rigor estatístico desejado. Calcule antes de começar — é o que separa um experimento de um chute cronometrado.
Por que existe um tamanho mínimo
Conversão é um evento raro e ruidoso. Em amostras pequenas, o acaso produz diferenças enormes: jogue uma moeda 10 vezes e 7 caras não surpreendem ninguém; jogue 10 mil vezes e 7 mil caras é outra história. O tamanho de amostra é o volume necessário para que a diferença observada entre as versões seja maior do que a flutuação natural do acaso.
Os três fatores que definem o número
1. Taxa de conversão base. Quanto menor a taxa, maior a amostra. Detectar mudanças numa conversão de 1% exige muito mais gente do que numa de 10%, porque cada conversão é um evento mais raro.
2. Melhoria mínima detectável (MDE). É a menor diferença que interessa ao negócio. Aqui mora a alavanca mais poderosa: detectar +5% relativo pode exigir dezenas de milhares de visitantes; detectar +20%, uma fração disso. A relação não é linear — cortar o MDE pela metade multiplica a amostra por cerca de quatro.
3. Rigor estatístico. O nível de confiança (tipicamente 95%) controla o risco de declarar vitória falsa; o poder estatístico (tipicamente 80%) controla o risco de não enxergar uma vitória real. Mais rigor, mais amostra.
Como calcular sem fórmula
Use a calculadora de tamanho de amostra: informe a conversão atual, o MDE e o número de variantes, e ela devolve os visitantes necessários por versão. Divida pelo tráfego diário da página e você tem o prazo do teste. Dois detalhes que a calculadora da GoAB já trata: com mais de duas variantes a exigência por grupo aumenta (correção para múltiplas comparações), e o total do teste é a amostra vezes o número de versões.
"A conta deu 8 semanas" — e agora?
Prazo inviável é informação, não beco sem saída. As saídas, em ordem de preferência:
- Aumente a ousadia. Mudanças maiores produzem efeitos maiores, detectáveis com menos tráfego. Com pouco volume, teste conceitos, não tons de azul.
- Suba no funil. Teste na página de maior tráfego cujo comportamento influencie a conversão final.
- Use uma métrica mais frequente. Adição ao carrinho acontece mais que compra — serve para hipóteses sobre o topo da página, com a compra como métrica de guarda.
- Aceite menos rigor conscientemente. 90% de confiança para decisões reversíveis e baratas é uma troca legítima — desde que declarada antes, não depois.
- Não teste. Com tráfego muito baixo, heatmaps e pesquisas geram mais aprendizado por semana que um teste eterno.
Erros clássicos de amostragem
- Parar quando "atingiu significância" no meio do caminho. Espiar o resultado todo dia e parar no primeiro cruzamento do limiar infla drasticamente os falsos positivos. Defina a amostra antes; pare quando ela chegar.
- Ignorar o ciclo semanal. Mesmo com amostra atingida em 3 dias, complete a semana — o público de sábado não é o de terça.
- Esquecer que variantes dividem o tráfego. Quatro versões = cada uma recebe um quarto dos visitantes; o teste demora proporcionalmente mais.
- Calcular sobre o tráfego do site, não da página. O que importa é quem passa pelo experimento.
Perguntas frequentes
Existe um número mágico de conversões? Regras de bolso como "100 conversões por variante" circulam por aí, mas são atalhos grosseiros. A calculadora leva 30 segundos e responde para o seu caso.
Amostra grande demais existe? O custo é oportunidade: tráfego preso num teste que já respondeu poderia estar no teste seguinte. Com leitura bayesiana, quando a probabilidade estabiliza em nível alto, prolongar não acrescenta.
E se meu tráfego variar muito? A amostra é contada em visitantes, não em dias. Picos aceleram o teste; vales o alongam. O que não muda é o número-alvo.
Entenda o outro lado da moeda — como ler o resultado ao final — em Significância estatística sem matemática complicada.