Resposta rápida: as duas abordagens respondem perguntas diferentes. A frequentista pergunta "quão improvável seria este resultado se as versões fossem iguais?" e devolve um p-valor. A bayesiana pergunta diretamente "qual a probabilidade de a variante ser melhor?" e devolve exatamente isso. Para decisões de negócio, a leitura bayesiana é mais intuitiva e menos sujeita a interpretação errada — por isso a GoAB a adota.
O problema que a estatística resolve
Todo teste A/B termina com dois números diferentes — digamos, 3,0% de conversão no controle e 3,6% na variante. A pergunta é: essa diferença é real ou é sorte? Com amostras finitas, o acaso sempre produz alguma diferença. A estatística existe para separar sinal de ruído.
Como pensa a abordagem frequentista
Ela parte da hipótese de que as versões são iguais (hipótese nula) e calcula: se fossem mesmo iguais, qual a chance de observar uma diferença tão grande quanto esta? Essa chance é o p-valor. Se ele fica abaixo de 5%, o resultado é declarado "estatisticamente significativo".
O problema não é matemático — é humano. O p-valor de 0,04 não significa "96% de chance de a variante ser melhor", mas é assim que quase todo mundo o lê. Ele também não diz nada sobre o tamanho do efeito. E o protocolo é rígido: a amostra deve ser fixada antes, e espiar o resultado no meio do caminho para decidir infla os falsos positivos.
Como pensa a abordagem bayesiana
Ela começa com uma expectativa (o prior), observa os dados e atualiza a crença, produzindo uma distribuição de probabilidade para a conversão de cada versão. Da comparação das distribuições sai a resposta na língua do negócio: "a variante B tem 95,3% de probabilidade de ser melhor que A". Sem dupla negação, sem hipótese nula, sem tradução.
Além da probabilidade de vitória, a leitura bayesiana entrega o lift esperado e permite raciocinar sobre risco: uma variante com 91% de probabilidade e ganho esperado alto pode ser uma aposta melhor do que esperar mais duas semanas pela certeza.
Qual usar no dia a dia?
Para times de produto e marketing, a bayesiana tem três vantagens práticas:
- Interpretação direta: a resposta já é a pergunta do negócio. Menos reunião explicando p-valor.
- Acompanhamento contínuo mais tolerante: a probabilidade atualizada a cada dia é uma leitura legítima do estado atual do conhecimento — sem o pecado capital do "espiar e parar" frequentista.
- Decisão sob risco explícita: dá para combinar limiares diferentes para decisões reversíveis (90%) e irreversíveis (99%).
A frequentista continua sendo padrão em contextos regulatórios e acadêmicos, e não está "errada" — bem aplicada, com amostra fixada e disciplina, chega a decisões igualmente sólidas. A diferença é quanta disciplina ela exige de quem lê.
O que não muda entre as duas
- Amostra pequena continua produzindo incerteza — a bayesiana apenas a mostra honestamente, em vez de escondê-la atrás de um "não significativo".
- Ciclos completos de semana continuam obrigatórios.
- Métrica definida antes do teste continua obrigatória.
- Nenhuma estatística conserta uma hipótese ruim ou uma variante quebrada no mobile.
Perguntas frequentes
95% de probabilidade bayesiana é o mesmo que p<0,05? Não são matematicamente equivalentes, embora na prática costumem apontar na mesma direção em testes bem dimensionados. A diferença central é o que cada número significa.
O prior não enviesa o resultado? Com priors neutros (como os que a GoAB usa) e volume razoável de dados, o peso do prior desaparece rapidamente — os dados dominam.
Posso encerrar o teste quando a probabilidade bater 95%? Com leitura bayesiana e amostra mínima razoável cumprida, sim — esse é justamente um dos atrativos. Só evite decidir nos primeiros dias, quando poucas conversões balançam a curva.
Veja o conceito vizinho — e as pegadinhas de leitura — em Significância estatística sem matemática complicada, ou experimente a calculadora bayesiana com seus próprios números.