Una campagna di email riporta duecento acquisti attribuiti. Sembra un successo, ma resta una domanda scomoda: quanti di quei duecento clienti avrebbero comprato comunque, anche senza ricevere l'email? La differenza tra ciò che è successo e ciò che sarebbe successo senza l'intervento si chiama incrementalità, ed è l'unica misura che dice davvero quanto vale un'azione.
Attribuzione e incrementalità
I modelli di attribuzione distribuiscono il merito delle conversioni tra i punti di contatto osservati. Non dicono però se quei punti di contatto le abbiano causate. Un esempio tipico è la pubblicità sul proprio marchio: chi cerca il nome dell'azienda e clicca sull'annuncio viene attribuito all'annuncio, ma molte di quelle persone sarebbero arrivate comunque dal risultato organico subito sotto.
| Domanda | Strumento |
|---|---|
| Quali canali toccano chi converte? | attribuzione |
| Quante conversioni in più genera un canale? | test di incrementalità |
Le due misure rispondono a domande diverse e servono entrambe.
Il principio del gruppo di controllo
Il metodo più solido è lo stesso di un esperimento: si divide a caso il pubblico in due gruppi, uno riceve l'intervento e l'altro no. Poiché l'assegnazione è casuale, i due gruppi sono simili in tutto il resto, e la differenza nei risultati si può attribuire all'intervento.
Nel caso della newsletter:
- si estrae a caso una quota della lista, per esempio il 10 per cento, che non riceverà le email promozionali per un periodo stabilito;
- si confrontano gli acquisti per iscritto nei due gruppi nello stesso periodo;
- la differenza, moltiplicata per il numero di iscritti che ricevono le email, stima le vendite incrementali.
Se il gruppo che riceve le email compra il 4 per cento in più del gruppo di controllo, quello è l'effetto reale, non i duecento acquisti attribuiti.
Test geografici
Quando non si può controllare chi vede un intervento, come per la pubblicità su radio, affissioni o molte piattaforme pubblicitarie, si può lavorare per aree. Si scelgono zone simili per dimensione e andamento storico delle vendite, si attiva la campagna solo in alcune e si confronta l'andamento con le altre.
Richiede cautela: le aree non sono mai identiche, eventi locali possono disturbare il confronto, e servono volumi sufficienti in ciascuna zona. Per questo si usa spesso un periodo di osservazione prima del test, per verificare che le zone si muovano in modo simile quando nessuna è esposta.
Pause programmate
Il metodo più semplice, e più debole, è spegnere un canale per qualche settimana e osservare che cosa succede alle conversioni totali. Se non cambia nulla, il canale probabilmente produceva poco valore aggiuntivo. Il limite è che si confronta con il passato, quindi stagionalità e altri cambiamenti si confondono con l'effetto della pausa. È utile come prima indicazione, non come prova.
Che cosa serve
- Volumi sufficienti. Se le conversioni sono poche, la differenza tra i gruppi sarà sommersa dal rumore. Conviene stimare in anticipo quanto deve essere grande l'effetto per essere rilevabile.
- Una metrica decisa prima. Acquisti, ricavi, richieste qualificate: va scelta prima di vedere i risultati.
- Un periodo stabilito. Fermare il test quando il risultato piace introduce una distorsione.
- Costo dell'esclusione accettato. Il gruppo di controllo rinuncia all'intervento; se l'intervento funziona, si perde qualcosa. È il prezzo dell'informazione.
Errori frequenti
- Scegliere il gruppo di controllo non a caso, per esempio tra gli iscritti meno attivi.
- Lasciare che il gruppo di controllo riceva comunque l'intervento da un altro canale.
- Leggere il risultato su un periodo troppo breve, ignorando gli acquisti che arrivano più tardi.
- Generalizzare un risultato ottenuto in un periodo particolare, come le festività.
Come usarlo
Non serve testare tutto, sempre. Nel mio lavoro suggerisco di partire dal canale che costa di più o da quello su cui l'attribuzione sembra più ottimista, e di ripetere il test a distanza di qualche mese, perché l'incrementalità cambia quando cambiano offerta, pubblico e concorrenza.
In sintesi
- L'incrementalità misura le conversioni in più rispetto a ciò che sarebbe successo comunque.
- L'attribuzione mostra chi tocca il percorso, non che cosa causa la conversione.
- Il gruppo di controllo casuale è il metodo più affidabile; i test geografici sono un'alternativa.
- Decidi metrica, durata e volumi necessari prima di iniziare.
- Inizia dal canale più costoso e ripeti il test nel tempo.
