Conversion ➽ A/B-testen en bezoekersaantallen zijn een uitdagend probleem. De aantallen zijn vaak namelijk maar net hoog genoeg om significante verschillen te vinden. Lees daarom hoe je met een zuiverdere vergelijking meer kans hebt om winnaars te vinden.
Pre-test
Bezoekers zijn eigenlijk steeds korte tijdsblokken online met je in gesprek. En bij een test bepaal jij dat de helft van de bezoekers op eens een ander gesprek krijgt dan ze eerder had. Dit zorgt bij grote wijzigingen in de B variant er vaak voor dat in de eerste dagen de A variant beter presteert. Dat is immers dezelfde ervaring als voorheen. Door je experiment alleen te starten voor bezoekers die één besliscyclus niet op je testpagina(‘s) zijn geweest, heb je echter al een zuiverdere vergelijking tussen A en B.
Code in B én A
Om de B-variant te tonen aan bezoekers wordt er bij client side testing veruit de meest voorkomende variant een stuk extra code geschreven. Deze code wordt alleen ingeladen in de B-variant en kan zorgen voor een andere, langzamere laadtijd ervaring en ook flickering of extra wacht tijdeffecten. Dit werkt door gaans negatief voor het conversiepercentage van B. Wat je wilt doen, is de code voor B meegeven aan de A-variant en uitvoeren op een zodanige manier dat de bezoeker nog steeds de A ervaring heeft, maar met dezelfde laadtijd, flickering en wachttijd ervaring als in de B-variant.
Voor wie test je?
Bezoekers moeten de kans dan wel tijd hebben om zich te laten motiveren door de aanpassingen in jouw B-variant. Iedereen die erg snel de website verlaat, een andere taak heeft of bijvoorbeeld niet scrollt naar jouw wijziging, kan niet worden beïnvloed. Deze bezoekers zullen dan ook in de A en de B-variant hetzelfde gedrag vertonen. En daarmee zorgen voor een kleiner verschil in de stijging van het absolute conversiepercentage in de beste variant. Door deze bezoekers eruit te filteren of analyse achteraf vind je sneller significante conversieverschillen.
Post-test
Je experiment is natuurlijk gestart voor de doorlooptijd van minimaal één besliscyclus. Hier hebben echter alleen de bezoekers profijt van die in het begin van het experiment hun beslistocht op jouw website zijn gestart. Bezoekers die later zijn gestart, hebben aan het einde van de test het probleem dat wanneer ze in B zaten, ze de echte beslissing uiteindelijk in A moeten maken (de test is immers voorbij). Zodra de test klaar is, wil je daarom geen nieuwe bezoekers meer toelaten. Maar bezoekers die in de test zaten nog minimaal één gemiddelde besliscyclus de tijd geven om hun beslissing helemaal af te ronden.
Ton Wesseling vult namens Online Dialogue iedere maand de terugkerende conversie-rubriek in Emerce magazine: het tijdschrift over “the next step in E-business”. Deze maand schrijft hij over: een zuivere A/B – testpopulatie.
Klik op de afbeelding om deze te vergoten, of download hier de pdf.
