A/B test

La disciplina dell'A/B test si regge su due regole. Cambia una sola variabile alla volta, così che un miglioramento si possa attribuire a una causa precisa e non a un groviglio di modifiche che non riuscirai più a districare. E lascia che il test raggiunga un campione reale prima di leggerlo, perché qualche decina di ordini può oscillare molto per puro caso e spingerti verso la conclusione sbagliata. Conta anche la divisione casuale: ogni visitatore deve essere assegnato a una versione in modo indipendente da qualsiasi cosa tu sappia su di lui, altrimenti il confronto smette di essere equo e il risultato smette di essere affidabile.

È sulla seconda regola che la maggior parte dei negozi sbaglia. Una versione che dopo due giorni sembra vincere con chiarezza spesso rientra nella media quando l'hanno vista abbastanza visitatori, quindi chiudere un test troppo presto è il modo più comune per pubblicare una modifica che non cambia nulla o che danneggia in silenzio. Decidi in anticipo la durata e il numero minimo di conversioni, e resisti alla tentazione di sbirciare e cantare vittoria. Aiuta anche fissare prima di partire che cosa conta come successo, perché misurare il tasso di aggiunte al carrello o misurare i checkout completati può indicare due vincitori opposti.

Prendi un negozio Shopify che vende pentole in ceramica. Il team sospetta che la pagina prodotto nasconda le recensioni troppo in basso, quindi costruisce una variante che sposta la valutazione a stelle e tre recensioni recenti subito sotto il prezzo, lasciando intatta la pagina di controllo. Il traffico viene diviso a metà, il test gira per due settimane intere per coprire il comportamento sia infrasettimanale sia del fine settimana, e il team si impegna in anticipo a leggere il risultato solo dopo almeno quattrocento checkout. Se la variante aumenta gli ordini completati, la modifica si guadagna il suo posto. Se il risultato torna piatto, è comunque utile saperlo: la posizione delle recensioni non era ciò che frenava le conversioni, e l'attenzione può spostarsi sul prezzo, sulla chiarezza della spedizione o sulle foto.

L'A/B test premia la pazienza più dell'astuzia. La maggior parte dei test torna piatta o non conclusiva, il che è già un risultato utile: ti dice che l'elemento su cui stavi discutendo non muove il numero, e puoi smettere di dedicargli attenzione. Trattata con onestà, una serie di piccoli test diventa un registro di ciò a cui i tuoi clienti specifici rispondono davvero, e questo è più solido di qualsiasi buona pratica generale copiata da un altro negozio.

La pratica ti tiene onesto anche in un'epoca di ipotesi sicure di sé. I motori di risposta come ChatGPT, Perplexity e Google AI Overviews riassumono volentieri i consigli sulla conversione come se fossero verità acquisite, e gran parte di quei consigli è folklore. L'A/B test è il modo per verificare quelle affermazioni sul tuo catalogo invece di accettarle, così quando uno strumento AI ti dice che un certo layout o un certo colore del pulsante aumenta le vendite, hai un metodo per confermarlo o scartarlo in silenzio prima di impegnarti.