Como usar as Calculadoras

Duas calculadoras, dois momentos

No menu lateral, acesse Calculadoras. A tela tem duas abas, cada uma para um momento do experimento:

• Tamanho de Amostra — use antes de começar, para saber quantos visitantes o teste precisa.
• Calculadora Bayesiana — use durante ou depois, para descobrir qual variante tem maior probabilidade de ser a melhor.

Calculadora de Tamanho de Amostra

Calcula o tamanho da amostra necessário para seu teste A/B com base em diferentes parâmetros. Ela tem dois modos: Por Conversão Base e Por População Total.

Modo 1 — Por Conversão Base

É o modo mais usado em CRO: você parte da sua taxa de conversão atual.

Parâmetros do Teste

• Taxa de Conversão Base (%) — a conversão que a página tem hoje. Vai de 0,1% a 50%; use o slider ou digite o valor.
• Melhoria Mínima Detectável (%) — o menor ganho relativo que você quer conseguir detectar, de 1% a 100%. Quanto menor a melhoria que você quer detectar, maior a amostra necessária.
• Número de Variantes (incluindo controle) — 2 para um teste A/B simples, 3 para A/B/C, e assim por diante.

Parâmetros Estatísticos

• Nível de Confiança (%) — 90%, 95% ou 99%. É o grau de certeza de que o resultado não foi sorte. 95% é o padrão de mercado.
• Poder Estatístico (%) — 80%, 85%, 90% ou 95%. É a chance de o teste detectar a diferença, caso ela exista. 80% é o padrão.

Clique em Calcular. O cartão azul Tamanho da Amostra mostra dois números:

• Por variante — visitantes necessários por variação.
• Total — visitantes necessários no teste inteiro.

Abaixo, em Informações Adicionais, a calculadora repete os parâmetros usados — útil para registrar a decisão no planejamento do experimento.

Exemplo: conversão base de 3%, melhoria mínima detectável de 15%, 2 variantes, confiança de 95% e poder de 80% resultam em 47.367 visitantes por variante e 94.734 no total.

Modo 2 — Por População Total

Use quando você parte de um universo conhecido de pessoas — uma base de clientes, uma lista, um público fechado.

• Tamanho da População — o total de pessoas do universo (ex.: 100.000).
• Número de Variantes (incluindo controle).
• Margem de Erro (%) — de 1% a 10%; 5% é o valor mais comum.
• Nível de Confiança e Poder Estatístico, como no outro modo.

Exemplo: população de 100.000, 2 variantes, margem de erro de 5%, confiança de 95% e poder de 80% resultam em 192 visitantes por variante e 384 no total.

O gráfico Volume de Amostra vs Nível de Confiança

Ao lado do resultado, a curva mostra como a amostra necessária cresce conforme você exige mais confiança — de 70% até 99%. Ela deixa visível o custo de ser mais rigoroso: entre 95% e 99%, o salto de volume é grande. Use o gráfico para equilibrar rigor e tempo de teste.

Calculadora Bayesiana de Testes A/B

Serve para descobrir qual das suas variantes tem a maior probabilidade de ser a melhor, com base no número de visitantes e conversões. Diferente dos métodos frequentistas tradicionais, a abordagem bayesiana permite tomar decisões a qualquer momento durante o teste.

Como usar

1. Informe Visitantes e Conversões da variante A e da variante B.
2. Use + Adicionar Variante para incluir C, D e outras versões.
3. Clique em Calcular.

Lendo o resultado

• Card da vencedora — anuncia o resultado direto: "Variante B é a vencedora! Com 95,3% de probabilidade de ser a melhor variante".
• Probabilidade de Ser a Melhor — barras comparando todas as variantes (ex.: B com 95,3% e A com 4,7%). As probabilidades somam 100%.
• Resultados Detalhados — tabela com taxa de conversão, intervalo de credibilidade, probabilidade de ser a melhor e melhoria relativa de cada variante. A vencedora aparece com troféu.
• Distribuição Posterior da Diferença — uma curva por variante. Quanto menos as curvas se sobrepõem, mais clara é a diferença entre as versões.
• Análise de Risco — traz a Redução de Risco (ex.: 90,7% · "Muito Confiável") e uma Recomendação objetiva, como "Implemente a variante vencedora com confiança".

Exemplo: A com 5.000 visitantes e 150 conversões (3,00%) contra B com 5.000 visitantes e 180 conversões (3,60%) — a variante B vence com 95,3% de probabilidade de ser a melhor e melhoria relativa de 20%.

Como usar as duas juntas no dia a dia

1. Antes do teste: calcule o tamanho de amostra com sua conversão base e a melhoria que quer detectar. Isso mostra se você tem tráfego para o experimento e quanto tempo ele deve durar.
2. Durante o teste: acompanhe o resultado na tela do experimento e, se quiser simular cenários, use a calculadora bayesiana com os números parciais.
3. Na decisão: confirme a probabilidade de ser a melhor e a análise de risco antes de implementar a versão vencedora.

Dúvidas frequentes

Preciso atingir exatamente a amostra calculada?
Ela é a referência de planejamento. Chegar perto já dá segurança; ficar muito abaixo aumenta o risco de decidir por ruído.

Por que minha amostra ficou tão grande?
Geralmente por conversão base baixa ou melhoria mínima detectável pequena. Aceitar detectar apenas ganhos maiores reduz bastante o volume necessário.

Qual nível de confiança escolher?
95% atende a maioria dos casos. Use 99% em decisões de alto impacto e 90% quando precisar de velocidade e o risco for baixo.

Confiança e poder estatístico são a mesma coisa?
Não. Confiança é a chance de não apontar um ganho que não existe; poder é a chance de encontrar um ganho que existe de verdade.

Posso decidir antes de bater a amostra na calculadora bayesiana?
A abordagem bayesiana permite ler o resultado a qualquer momento — mas confie na decisão quando a probabilidade de ser a melhor estiver alta e a análise de risco indicar segurança.

Glossário

• Taxa de conversão base — a conversão atual da página, ponto de partida do cálculo.
• Melhoria mínima detectável (MDE) — o menor ganho relativo que o teste consegue identificar.
• Nível de confiança — grau de certeza de que o resultado não foi obra do acaso.
• Poder estatístico — chance de o teste detectar uma diferença real.
• Margem de erro — variação aceitável no resultado, usada no modo por população.
• Intervalo de credibilidade — faixa dentro da qual a taxa real da variante provavelmente está.
• Probabilidade de ser a melhor — chance de a variante ser superior a todas as outras.
• Redução de risco — quanto a decisão pela vencedora é segura, segundo a análise bayesiana.