Un test A/B confronta due versioni di una pagina mostrandole a gruppi di visitatori scelti a caso. Se l'unica differenza tra i gruppi è la versione vista, una differenza nei risultati può essere attribuita alla modifica. È uno degli strumenti più potenti per decidere con i dati, ma solo se il test viene progettato prima di essere avviato. Gran parte dei test falliti non fallisce per la statistica, ma per decisioni prese troppo tardi.
Partire da un'ipotesi
Un'ipotesi utile ha una struttura precisa: cosa cambio, quale effetto mi aspetto, perché.
Se sposto il riepilogo dei costi di spedizione prima del pulsante di pagamento, il tasso di ordini completati aumenterà, perché oggi molti abbandonano quando scoprono i costi all'ultimo passaggio.
Il «perché» è la parte più importante. Se il test dà ragione, hai imparato qualcosa sui tuoi utenti. Se dà torto, sai quale convinzione rivedere. Un test senza ipotesi, del tipo «proviamo un pulsante verde», produce al massimo un numero, mai una lezione.
Scegliere una metrica primaria
Prima di iniziare va scelta una sola metrica che decide l'esito del test. Deve essere:
- legata all'obiettivo: ordini completati, richieste inviate, iscrizioni confermate;
- sensibile alla modifica: un cambiamento nel checkout difficilmente sposta le visite alla home;
- misurabile in modo affidabile per entrambe le versioni.
Accanto alla primaria si scelgono alcune metriche di controllo, che non devono peggiorare: tempo di caricamento, errori, rimborsi, disiscrizioni. Tutte le altre metriche sono esplorative: interessanti, ma non decidono nulla.
Fissare la metrica primaria in anticipo protegge da una tentazione comune: a test finito, cercare tra decine di numeri quello che è migliorato e dichiarare vittoria.
Quanti visitatori servono
La quantità di visitatori necessaria dipende da tre elementi:
- tasso di partenza: quanto converte oggi la pagina;
- effetto minimo rilevante: la differenza più piccola che vale la pena scoprire;
- livello di sicurezza desiderato contro falsi positivi e falsi negativi.
La regola pratica è intuitiva: più l'effetto cercato è piccolo, più visitatori servono, e la crescita è rapida. Per scoprire un miglioramento di pochi decimi di punto su un tasso del due per cento possono servire decine di migliaia di visitatori per variante. Esistono calcolatori di dimensione del campione che fanno il conto: usali prima del test, non dopo.
Se il risultato del calcolo supera di molto il traffico disponibile, il test non è fattibile così com'è. Le alternative sono testare modifiche più grandi e coraggiose, scegliere una metrica più frequente più in alto nel funnel, oppure rinunciare al test e decidere con altri metodi.
Durata
Anche con traffico abbondante, un test dovrebbe durare almeno una o due settimane complete. Il comportamento cambia tra giorni feriali e fine settimana, tra mattina e sera, tra inizio e fine mese. Un test di tre giorni rischia di misurare l'effetto del giorno, non della modifica.
La durata va decisa in anticipo e rispettata. Fermare il test appena il risultato sembra favorevole è uno degli errori più frequenti, perché le differenze casuali sono grandi all'inizio e si riducono col tempo.
Assegnazione e coerenza
Ogni visitatore deve vedere sempre la stessa versione per tutta la durata del test. Se un giorno vede A e il giorno dopo B, i dati si mescolano. L'assegnazione deve essere casuale e indipendente da caratteristiche come dispositivo, provenienza o orario.
Va deciso anche chi entra nel test. Se la modifica riguarda il checkout, ha senso includere solo chi arriva al checkout: includere tutti i visitatori del sito diluisce l'effetto e allunga i tempi.
Un documento di una pagina
Nel mio lavoro, prima di ogni test, scrivo un documento breve con:
- ipotesi completa;
- descrizione delle due versioni, con immagini;
- metrica primaria e metriche di controllo;
- pubblico incluso;
- dimensione del campione e durata prevista;
- regola di decisione: cosa faremo con ciascun possibile risultato.
L'ultima voce è decisiva. Scrivere in anticipo «se la differenza non è significativa, manteniamo la versione attuale perché più semplice» evita discussioni infinite a test concluso.
Prima di partire
Un controllo tecnico evita molte delusioni: verifica che entrambe le versioni funzionino su tutti i browser principali, che gli eventi della metrica primaria vengano registrati per entrambe e che la ripartizione del traffico sia quella prevista nelle prime ore.
In sintesi
- Un test A/B parte da un'ipotesi con cambiamento, effetto atteso e motivazione.
- Scegli in anticipo una sola metrica primaria e alcune metriche di controllo.
- Calcola prima quanti visitatori servono; se sono troppi, cambia il test.
- Fai durare il test almeno una o due settimane complete e non fermarlo in anticipo.
- Scrivi la regola di decisione prima di vedere i risultati.
