Resposta rápida: significância estatística é o critério que separa uma diferença real de uma flutuação do acaso. Dizer que um teste atingiu significância a 95% significa que o protocolo usado produz conclusões erradas em, no máximo, cerca de 5% das vezes — não que "há 95% de chance de a variante ser melhor". Essa distinção muda decisões.
A intuição, sem fórmulas
Imagine duas moedas idênticas. Jogue cada uma 20 vezes: uma dá 12 caras, outra dá 9. Diferença de 33%! Significa algo? Claro que não — é o acaso em amostra pequena. Agora jogue cada uma 20 mil vezes: se uma der 12 mil caras e a outra 9 mil, algo real está acontecendo. Significância estatística é a formalização dessa intuição: quanto de diferença, em quanto volume, é preciso para o acaso deixar de ser explicação plausível.
Os dois erros possíveis (e o preço de cada um)
- Falso positivo: declarar vencedora uma variante que não é melhor. Preço: implementar mudança inútil, contar uma vitória que não existe e calibrar o time com aprendizado falso.
- Falso negativo: não detectar uma variante que era melhor. Preço: deixar ganho real na mesa.
O nível de confiança (95% é o padrão) controla o primeiro erro; o poder estatístico (80% é o padrão) controla o segundo. Subir qualquer um dos dois exige mais amostra — rigor custa tráfego.
Por que 95%, e quando fugir do padrão
95% é convenção herdada de um século de prática científica, não lei da natureza. O critério certo depende do custo de errar: para trocar o texto de um botão (reversível em um clique), 90% pode bastar; para migrar o checkout inteiro (caro de reverter), 99% é prudência, não paranoia. O erro é mudar o critério depois de ver o resultado — o limiar se escolhe antes, junto com a métrica.
As 4 pegadinhas que enganam times inteiros
1. Espiar e parar. Acompanhar o teste diariamente e encerrá-lo no primeiro dia em que cruza o limiar multiplica os falsos positivos. Com protocolo frequentista, a amostra se fixa antes e o veredito sai no final; com leitura bayesiana, o acompanhamento contínuo é mais tolerante — entenda a diferença em bayesiana vs frequentista.
2. Significativo ≠ importante. Com volume gigante, uma melhoria de 0,3% relativo atinge significância — e continua irrelevante para o negócio. A pergunta dupla é: é real? e importa? A segunda quem responde é o seu custo de implementação.
3. Testar 20 coisas e celebrar a que "deu". A 95% de confiança, uma em cada vinte comparações de versões idênticas "vence" por puro acaso. Quem roda muitas variantes ou olha muitas métricas precisa de correção para múltiplas comparações — a calculadora da GoAB já ajusta a amostra quando há mais de duas versões.
4. Trocar a métrica no meio. "A conversão não subiu, mas olha o tempo na página!" — métrica escolhida depois do resultado não é evidência, é escavação. Métricas secundárias servem para vigiar efeitos colaterais, não para resgatar testes perdidos.
Inconclusivo também é resposta
Um teste que termina sem vencedor diz algo útil: aquela mudança não move o ponteiro o suficiente para ser detectada com esse tráfego. Implemente a versão mais simples, registre o aprendizado e gaste o tráfego na próxima hipótese. Times maduros tratam o inconclusivo como custo normal do processo — quem nunca tem teste inconclusivo provavelmente está lendo os resultados errado.
Perguntas frequentes
Qual amostra eu preciso para atingir significância? Depende da conversão atual e do tamanho do efeito que quer detectar — o guia de tamanho de amostra mostra o cálculo em 30 segundos.
Meu teste está em 93%. Espero ou decido? Se a decisão é barata e reversível, 93% com amostra razoável já é informação forte. Se é cara, espere fechar a amostra planejada. O que não vale é ajustar o limiar para o número que apareceu.
Significância garante que o ganho vai se manter? Garante que a diferença observada dificilmente é acaso. Mudanças de contexto (sazonalidade, mix de tráfego) podem alterar o efeito ao longo do tempo — por isso métricas de negócio continuam sendo monitoradas após a implementação.
Próximo passo natural: o passo a passo completo de um teste A/B.