Testes A/B (A/B Testing)

A disciplina dos testes A/B assenta em duas regras. Alterar uma variável de cada vez, para que um ganho possa ser atribuído a uma causa específica e não a um conjunto de alterações impossível de destrinçar mais tarde. E aguardar que o teste atinja uma dimensão de amostra real antes de o interpretar, porque algumas dezenas de encomendas podem variar muito ao acaso e induzir à conclusão errada. A divisão aleatória também importa: cada visitante tem de ser atribuído a uma versão de forma independente, sem que qualquer informação prévia sobre ele influencie a escolha, caso contrário a comparação deixa de ser justa e o resultado deixa de ser fiável.

É na segunda regra que a maioria das lojas falha. Uma versão que parece uma vencedora clara ao fim de dois dias regride frequentemente quando o número de visitantes aumenta, por isso encerrar o teste demasiado cedo é a forma mais comum de implementar uma alteração que não serve para nada ou que prejudica silenciosamente os resultados. Convém definir a duração e o número mínimo de conversões antes de começar, e resistir à tentação de consultar os dados e declarar vitória. Ajuda também fixar antecipadamente o que conta como sucesso, porque medir a taxa de adição ao carrinho e medir as encomendas concluídas pode apontar para vencedores opostos.

Considere uma loja Shopify de cerâmica artesanal portuguesa. A equipa suspeita que a página de produto posiciona as avaliações demasiado abaixo, por isso cria uma variante que move a classificação por estrelas e três avaliações recentes para logo abaixo do preço, deixando a página de controlo inalterada. O tráfego é dividido de forma igual, o teste corre durante duas semanas completas para abranger o comportamento em dias de semana e fim de semana, e a equipa compromete-se antecipadamente a interpretar o resultado apenas após pelo menos quatrocentas encomendas concluídas. Se a variante aumentar as encomendas concluídas, a alteração justifica-se. Se o resultado for neutro, isso também tem valor: a posição das avaliações não era o que estava a travar as conversões, e a atenção pode passar para os preços, a clareza dos portes de envio ou a fotografia dos produtos.

Os testes A/B recompensam mais a paciência do que a argúcia. A maioria dos testes devolve resultados neutros ou inconclusivos, o que é por si só um resultado útil: indica que o elemento em causa não influencia o indicador, e pode-se deixar de lhe dedicar atenção. Tratados com honestidade, uma sequência de pequenos testes torna-se um registo do que os clientes de uma loja concreta respondem genuinamente, o que é mais duradouro do que qualquer prática recomendada copiada de outra loja.

Esta prática também mantém a loja honesta numa era de sugestões confiantes. Motores de resposta como o ChatGPT, o Perplexity e o Google AI Overviews resumem de bom grado conselhos de conversão como se fossem factos estabelecidos, e muito desse aconselhamento é folclore. Os testes A/B são a forma de verificar essas afirmações com o catálogo próprio em vez de as aceitar, por isso quando uma ferramenta de IA indica que um determinado layout ou cor de botão aumenta as vendas, existe um método para confirmar ou rejeitar silenciosamente essa sugestão antes de a implementar.