Poucas ferramentas de decisão são tão citadas — e tão mal usadas — como o teste A/B. A ideia é sedutora na sua simplicidade: mostras a versão A a metade das pessoas, a versão B à outra metade, e deixas os dados dizerem qual ganha. Feito bem, é a forma mais honesta de saber se uma mudança melhora mesmo alguma coisa. Feito mal, é uma máquina de produzir falsas certezas.
O problema é que a maior parte dos erros não é visível no gráfico final. Um teste que parou cedo de mais, uma amostra pequena de mais, uma métrica escolhida à pressa — nada disto aparece no número que se apresenta na reunião. O resultado tem o aspeto de ciência, mas a decisão que gera pode ser pior do que não ter testado nada.
Este guia percorre o que é preciso para desenhar um teste A/B em que possas confiar: da hipótese à métrica, do tamanho da amostra à leitura da significância, terminando com os erros que mais frequentemente estragam boas intenções. Sem fórmulas herméticas — apenas o raciocínio que separa um teste sério de um teatro de dados.
O que é (e o que não é) um teste A/B
Um teste A/B é uma experiência controlada: divides aleatoriamente os utilizadores em dois grupos, expões cada grupo a uma variante, e comparas o comportamento resultante numa métrica definida à partida. A aleatoriedade é o coração do método — é ela que garante que, em média, os dois grupos são comparáveis e que a diferença observada se pode atribuir à variante, e não ao acaso de quem calhou em cada lado.
O que um teste A/B não é: não é uma sondagem de opinião, não é olhar para dois períodos seguidos («antes» e «depois») e atribuir a diferença à mudança, nem é escolher a versão de que gostamos mais e procurar números que a confirmem. Sem grupos simultâneos e aleatorizados, não há teste A/B — há, quando muito, uma observação interessante.
Começa por uma hipótese clara
Antes de mexer em código ou plataformas, escreve a hipótese numa frase. Uma boa hipótese liga uma mudança concreta a um efeito esperado numa métrica concreta: por exemplo, «mostrar o custo de envio mais cedo no checkout vai reduzir o abandono do carrinho». Repara que há uma alteração, uma direção esperada e uma métrica mensurável.
Este passo parece burocrático, mas é o que impede a armadilha mais insidiosa: decidir o que o teste «provou» depois de ver os resultados. Se a hipótese está escrita à partida, a leitura no fim é honesta. Sem ela, é fácil olhar para dez métricas, encontrar uma que subiu por acaso, e declarar vitória.
Escolher a métrica certa — e uma métrica de guarda
A métrica principal deve refletir o que realmente te importa, não o que é fácil de medir. Um botão mais chamativo pode aumentar os cliques (métrica fácil) e ao mesmo tempo baixar as compras (métrica que interessa). Escolhe uma métrica primária, idealmente ligada a valor para o negócio, e resiste à tentação de julgar o teste por tudo o que se mexeu.
Ao lado da métrica primária, define uma ou duas métricas de guarda: indicadores que não devem piorar, mesmo que a mudança melhore o objetivo principal. Se estás a otimizar a taxa de conversão, a margem por encomenda ou a taxa de devolução podem ser guardas úteis. Elas evitam que se celebre uma vitória que, vista de longe, é um prejuízo.
Tamanho de amostra e duração: a conta que quase todos ignoram
Aqui está o passo mais saltado e mais decisivo. Antes de arrancar, tens de estimar de quantos utilizadores precisas para detetar uma diferença que valha a pena. Essa conta depende de três coisas: a taxa base da métrica, o efeito mínimo detetável (a menor melhoria que te interessaria descobrir) e o nível de confiança e poder estatístico que exiges.
A lógica é intuitiva: quanto menor a melhoria que queres conseguir distinguir do ruído, mais dados precisas. Testes com poucos utilizadores só conseguem detetar diferenças enormes; para melhorias de 1 ou 2 pontos percentuais, é preciso muito mais volume do que a intuição sugere. Definir isto à partida diz-te quanto tempo o teste tem de correr — e evita a pergunta fatal «já podemos parar?».
Significância estatística sem misticismo
A significância estatística responde a uma pergunta modesta: se não houvesse diferença nenhuma entre as variantes, qual seria a probabilidade de observar um resultado como este, ou mais extremo, só por acaso? Essa probabilidade é o valor-p. Um valor-p baixo sugere que o acaso é uma explicação pouco plausível para o que viste; não prova que a diferença é grande, nem que é importante.
Vale a pena separar três coisas que muitas vezes se confundem. A significância diz-te se a diferença é distinguível do ruído. A magnitude (o tamanho do efeito) diz-te se essa diferença é grande o suficiente para valer a pena. E o intervalo de confiança mostra a margem de incerteza à volta da estimativa. Um resultado pode ser estatisticamente significativo e, ainda assim, pequeno de mais para justificar a mudança.
Os erros mais comuns em testes A/B
A maioria dos testes que enganam falha por um punhado de razões recorrentes. Reconhecê-las é meio caminho para as evitar:
- Espreitar e parar cedo: olhar para os resultados todos os dias e parar assim que aparece um número favorável inflaciona drasticamente os falsos positivos. Define a duração à partida e respeita-a.
- Amostra pequena de mais: concluir a partir de poucos utilizadores é ler ruído como se fosse sinal.
- Testar tudo ao mesmo tempo: mudar várias coisas numa só variante impede saber o que causou o efeito.
- Ignorar a sazonalidade: um teste que corre só numa segunda-feira, ou durante uma promoção, mede um mundo que não é o normal.
- Efeito de novidade: uma mudança visível chama a atenção no início e o entusiasmo esbate-se; testes curtos de mais confundem a novidade com melhoria real.
Mini-caso: o botão que parecia melhor
Considera uma loja online que decidiu tornar o botão de compra maior e de uma cor mais viva. Ao fim de três dias, a taxa de cliques no botão tinha subido 12% e a equipa quis lançar a mudança de imediato. Antes disso, olharam para a métrica que interessava: as compras concluídas. Essas não tinham mexido — e a taxa de devoluções dava sinais de subir.
Ao deixar o teste correr as duas semanas planeadas e ao olhar para as métricas de guarda, perceberam o que se passava: o botão mais agressivo levava mais pessoas a clicar por impulso, mas não mais pessoas a querer realmente o produto. O ganho nos cliques era real e, ao mesmo tempo, irrelevante. Pararam a mudança. A decisão certa não veio de um número maior, mas de terem escolhido bem o número a olhar.
Boas práticas para experiências em que podes confiar
Alguns hábitos aumentam muito a fiabilidade dos teus testes. Corre um teste A/A de vez em quando — duas variantes idênticas — para confirmar que a tua ferramenta não encontra diferenças onde não existem. Documenta cada experiência: hipótese, métrica, tamanho de amostra e resultado, para construir memória em vez de repetir enganos. E resiste a transformar cada pequena decisão num teste: experiências custam tempo e tráfego, e devem guardar-se para mudanças em que a incerteza é real e a aposta vale a pena.
Por fim, aceita que muitos testes vão dar «sem diferença significativa» — e que isso também é informação valiosa. Saber que uma mudança não move a agulha poupa-te de a implementar e manter para sempre. Um programa de experimentação saudável não é o que ganha sempre; é o que aprende de forma fiável.
Na prática
Um teste A/B só vale o que vale o seu desenho. A aleatoriedade torna os grupos comparáveis, a hipótese escrita à partida mantém a leitura honesta, o cálculo de amostra diz-te quando parar, e as métricas de guarda impedem vitórias que são derrotas disfarçadas. Nenhum destes passos é difícil; o difícil é a disciplina de não os saltar quando há pressa para decidir.
Se tirares uma ideia deste guia, que seja esta: decide as regras antes de ver os resultados. É essa ordem — regras primeiro, dados depois — que separa uma cultura de experimentação a sério de uma coleção de histórias com números a acompanhar. Testa menos coisas, mas testa-as bem, e passa a confiar no que os teus dados te dizem.
