Tom van den Berg schreef op 25 september voor Emerce over zes methodes om de ROI van optimalisatie te berekenen.
Dagelijks zijn veel bedrijven bezig met het optimaliseren van hun online activiteiten, met als doel het rendement te verbeteren. Het uitvoeren van A/B-testen is binnen online optimalisatie al vier jaar op rij de belangrijkste methode om de conversie te verhogen (bron: eConsultancy.). Maar hoe bepaal je nou de ROI van conversie optimalisatie? Ik bied je zes methoden.
Een vraag die ik steeds vaker terug hoor komen is: wat is de Return On Investment (ROI) van ons conversie optimalisatie programma en A/B- testen in het bijzonder? Een interessante en terechte vraag waarop je niet zomaar een antwoord kunt geven.
Na een jaar optimaliseren heb je meerdere A/B-testen uitgevoerd met daarbij een aantal winnaars. Als het goed is heb je deze winnaars geïmplementeerd en is er een positief effect zichtbaar in je analytics programma.
Belangrijke voorwaarde hierbij is dat je de A/B-testen op de juiste manier hebt geanalyseerd, maar daar ga ik in deze blogpost niet op in.
Het effect is vaak niet zo makkelijk zichtbaar als je zou verwachten. Hoe bepaal je of het behaalde effect in de A/B-test ook zichtbaar is na implementatie?
In dit artikel beschrijf ik zes methodes die je kunt gebruiken om de ROI van conversie optimalisatie te berekenen. De eerste drie methodes bespreek ik uitgebreid en zijn vooral gericht op het effect na implementatie. Deze zijn relatief makkelijk uit te voeren voor bedrijven in tegenstelling tot de laatste drie methodes, waar ik korter op in ga.
1. Pre / post analyse
De makkelijkste manier om verbeteringen in conversie door A/B-testen aan te tonen, is de totale conversie in je analytics programma te nemen voordat je begon met optimaliseren en te vergelijken met 3, 6 of 12 maanden later. Zie ik een stijging? Dan hebben de optimalisaties effect gehad. Zie ik een daling of geen effect? Dan is dit niet het geval.
Tegelijkertijd heb ik ook het meeste bezwaar tegen deze methode. Er zijn namelijk ontelbare andere mogelijke factoren die dit beïnvloed kunnen hebben. Is je conversie wellicht standaard al lager in december? En is deze nu minder gedaald dan vorig jaar in dezelfde periode?
Wat vaak vergeten wordt, is dat een test op een bepaald deel van je site heeft plaatsgevonden en dat een gevonden uplift in een A/B-test maar voor een deel van je totale bezoek een uplift betekent. Het effect op het totale bezoek is daardoor veel lager en mogelijk zelfs bijna niet zichtbaar.
Daarnaast wordt vaak gedacht dat als een A/B-test een uplift heeft gerealiseerd van tien procent dit ook precies tien procent zou moeten zijn in realiteit. Echter, de uplift zal liggen binnen een bepaalde bandbreedte. Zo kan bijvoorbeeld, bij een conversie stijging van tien procent, de verwachte uplift liggen tussen +2 en +18 procent.
2. Pre / post analyse van één A/B-test
Een andere methode is de voor- en na analyse van één A/B-test. De winnende variant van een A/B-test gaat live op een bepaalde datum, vergelijk de conversie van de periode voor livegang en na livegang.
Een A/B-test wordt doorgaans uitgevoerd op één bepaalde pagina. Als er dan een winnaar is, betekent dit niet dat de totale conversie stijgt met de procentuele stijging die in de A/B-test gevonden wordt. Dit geldt alleen voor de conversie van bezoekers die via die pagina converteren. Je kijkt in dit geval dus naar dit specifieke segment.
Het voordeel van deze methode is dat je alleen naar een segment kijkt met bezoekers dat overeenkomt met de A/B-test. Deze methode is minder valide als er een campagne of actie niet gelijk verdeeld is over de periode die gebruikt wordt voor de vergelijking.
Ook houdt deze methode geen rekening met seasonality, de conversie per week schommelt sowieso vaak al. Een campagne kan eventueel worden uitgesloten door naar een stabiele traffic bron te kijken, bijvoorbeeld SEO of SEA.
In onderstaand schema wordt in de tijd uitgelegd welke periodes (before & after) vergeleken worden in de methode:
- Test uplift range: met 90% zekerheid valt de uplift tussen X% and Y% (range).
- Implementation uplift: zien we een impact die binnen de verwachte range valt.
3. Pre / post analyse year on year
Om seizoensinvloeden uit te sluiten kan je de situatie vergelijken voordat je begonnen bent met testen met de periode nadat de winnaars zijn geïmplementeerd. Om dit duidelijk te maken leg ik dit uit aan de hand van een voorbeeld.
Je bent als bedrijf begonnen met A/B-testen in februari 2015 en drie maanden later (eind mei 2015) heb je alle tot dan toe winnende varianten live gezet. Om te zien of dit impact heeft op de conversie vergelijk je de conversie in januari met die van juni. Dit doe je zowel voor 2015 als voor 2014 (toen heb je niet getest) en deze twee getallen vergelijk je onderling met elkaar.
Op deze manier sluit je seizoensinvloeden uit. Als campagnes of acties niet seizoensgerelateerd zijn is deze methode minder valide. Bij bijvoorbeeld travelsites kan de dip/stijging in conversie net in een andere week vallen door een verschuiving in vakanties. Hier dien je rekening mee te houden bij het maken van de berekening.
In onderstaand schema wordt in de tijd uitgelegd welke periodes (before & after) vergeleken worden in de methode:
- Test uplift range: met 90% zekerheid valt de uplift tussen X% and Y% (range).
- Real impact: de conversie before & after in 2014 (waarin niet getest werd) wordt vergeleken met de conversie before & after in 2015.
De eerste drie methodes zijn van toepassing na implementatie van A/B-test winnaars en voor de meeste bedrijven relatief makkelijk uit te voeren. Hieronder benoem ik nog drie andere methodes die vaak minder makkelijk uit te voeren zijn.
4. Hertest oude tegen nieuwe website
Een andere optie is om de oude website te testen (voor alle A/B-testen) tegen de nieuwe website (met alle A/B-test winnaars). Zo kan op een simpele manier worden aangetoond wat de stijging in conversie is. Je combineert dus alle winnaars in een variant en test dit tegen de oude website.
Er zit een aantal nadelen aan deze test:
- Gedurende deze A/B-test kan je geen andere A/B-testen uitvoeren en liggen alle overige testen dus stil.
- De kans is groot dat de oude website minder goed converteert en dat heeft tot gevolg dat je geld verliest door 50 procent van je verkeer naar de oude website te sturen.
5. Klein deel van je traffic naar consistente groep bezoekers
Door altijd vijf of tien procent van je traffic naar een consistente control versie van je website te sturen, kan je precies zien hoeveel beter je website converteert. Deze groep bezoekers komt nooit in een A/B-test. Dit kan je alleen doen als bezoekers zijn ingelogd. Doordat bezoekers tegenwoordig vaak met verschillende devices een website bezoeken, is het niet mogelijk om ze te herkennen als één unieke bezoeker. Hiervoor heb je een uniek ID nodig.
Er zitten nog twee grote nadelen aan:
- Sommige websites hebben net genoeg traffic om te kunnen A/B-testen, dan is het niet mogelijk om vijf tot tien procent van je traffic niet te gebruiken.
- Je verliest een hoop omzet door deze groep bezoekers een niet geoptimaliseerde website te tonen. Dan moet je je afvragen wat belangrijker is: aantonen dat A/B-testen écht werkt of meer geld verdienen door 100 procent van je bezoekers de geoptimaliseerde website te tonen.
6. Alle winnaars in één keer implementeren
De laatste methode is al je A/B-test winnaars opsparen en dan in één keer implementeren. Op het moment van livegang moet je dan haast wel een uplift zien.
Een nadeel hiervan is dat je omzet verliest totdat je alle winnende varianten hebt geïmplementeerd. En je weet niet of bepaalde winnaars effect hebben op elkaar. In de ideale situatie wil je zo snel mogelijk doortesten op een eerdere winnaar.
Conclusie
Dit zijn zes mogelijke methodes om de ROI te berekenen. Elke methode heeft voor- en nadelen. Een optie kan ook zijn om een aantal methodes toe te passen om op deze manier een totaal beeld van het effect te krijgen.
Behalve dat A/B-testen direct extra omzet moet opleveren, heeft het vaak een grote indirecte waarde. Alleen al het feit dat een A/B-test je altijd nieuwe inzichten oplevert en je de bezoeker op je website beter leert begrijpen, maakt A/B-testen zinvol. Ook niet winnende A/B-testen zijn dus wel degelijk van waarde. Daarnaast heb ik gemerkt dat A/B-testen vaak positieve energie geeft binnen teams. Iedereen wil meedenken over de varianten en is benieuwd naar de resultaten.
Andere / nieuwe inzichten hoor ik graag.