Resposta rápida: o teste A/B compara versões inteiras de uma experiência (A contra B); o multivariado (MVT) testa combinações de vários elementos ao mesmo tempo para descobrir a melhor mistura e as interações entre eles. O MVT responde perguntas mais finas, mas exige tráfego múltiplas vezes maior. Para a maioria das operações, uma sequência de testes A/B bem desenhados aprende mais rápido, com menos risco.
A diferença em uma imagem mental
No A/B, você fotografa duas páginas e pergunta qual vende mais. No multivariado, você escolhe elementos — digamos, 2 títulos × 2 imagens × 2 botões — e o sistema monta as 8 combinações possíveis, distribuindo o tráfego entre todas. No fim, além da combinação vencedora, o MVT indica quanto cada elemento contribuiu e se há interações (aquele título só funciona com aquela imagem).
O custo escondido do multivariado: tráfego
Cada combinação é, na prática, uma variante que precisa da própria amostra. As 8 combinações do exemplo exigem grosseiramente 4× o tráfego de um A/B simples para o mesmo rigor — e um MVT de 3×3×2 = 18 combinações vira privilégio de sites de tráfego muito alto. Antes de sonhar com o MVT, faça a conta na calculadora de amostra multiplicando pela quantidade de combinações. Se o prazo passar de poucas semanas, a resposta já apareceu.
Quando o multivariado vale a pena
- Tráfego alto na página (o gargalo deixa de ser amostra).
- Elementos com suspeita real de interação — o clássico: promessa do título precisa casar com a imagem.
- Página madura, já otimizada por A/Bs, onde o refinamento fino é o próximo degrau.
Quando o A/B é a escolha certa (a maioria das vezes)
- Hipóteses conceituais: "abordagem de urgência vs abordagem de confiança" se testa com duas versões coerentes, não com uma matriz de fragmentos.
- Tráfego finito: aprender uma coisa por semana bate aprender oito coisas por semestre.
- Mudanças estruturais: redesigns e fluxos alternativos pedem split test entre URLs, não matriz de elementos.
A alternativa esperta: A/Bs sequenciais
Uma sequência de A/Bs — testa o título, implementa o vencedor, testa a imagem sobre ele, e assim por diante — captura a maior parte do valor do MVT com fração do tráfego. O que ela perde são as interações entre elementos; na prática, interações fortes são mais raras do que a literatura de ferramenta sugere, e quando existem costumam aparecer como resultado estranho no teste seguinte — que é, em si, um achado. Sequência também gera aprendizado incremental: cada rodada informa a próxima hipótese, o motor do programa de experimentação.
Erros comuns em cada formato
- No A/B: enfiar cinco mudanças na variante e chamar de "teste" — venceu, mas você não sabe por quê. Uma ideia por variante.
- No MVT: incluir elementos irrelevantes na matriz "já que estamos testando" — cada elemento extra multiplica o tráfego necessário para responder algo que ninguém perguntou.
- Nos dois: decidir sem amostra fechada; o guia de duração de teste explica os prazos.
Perguntas frequentes
MVT precisa de ferramenta especial? Precisa de suporte a múltiplas variantes e leitura por combinação. Um A/B/n com as combinações montadas manualmente é um MVT operacional.
Qual o mínimo de tráfego para MVT? Não há número universal — há a conta: amostra por combinação × combinações, contra seu tráfego diário. A calculadora responde em segundos.
Posso começar pelo MVT para "mapear tudo de uma vez"? A tentação é compreensível e o resultado costuma ser um teste eterno. Comece pelo A/B da hipótese mais forte; o mapa se desenha andando.
Fundamentos primeiro: o que é teste A/B e como fazer um, passo a passo.