Stel, je draait een A/B-test waarbij je productaanbevelingen toont op de homepage. Na afloop van het experiment vind je een winnaar: de variant met de aanbevelingen heeft een significant hoger conversiepercentage. Mooi nieuws, maar zorgt deze aanpassing ook voor een stijging in de gemiddelde orderwaarde (AOV)? Een berekening van de AOV per variant is hier onvoldoende, omdat dit niet zegt of een eventueel verschil significant is. In deze blog leg ik uit wat je wel kunt doen, zodat jij dit direct kunt toepassen in jouw A/B-test-analyses.
Gemiddelde orderwaarde = continue variabelen
De meeste A/B-test-calculatoren berekenen een Bayesiaanse kans of maken gebruik van een frequentistische t-toets om significantie van een gemeten effect aan te tonen. Deze calculatoren kunnen omgaan met variabelen waarbij de uitkomst exact twee varianten kan hebben, zoals wel of geen conversie. Dit noemen we binaire variabelen. In het geval van orderwaarde, spreken we over een continue variabele. De mogelijke uitkomsten hebben namelijk een grote spreiding, en kunnen variëren van een aankoop van minder dan 10 euro tot grote orders van honderden euro’s. Voor dit soort variabelen werken de meeste van de eerder genoemde calculatoren niet. Gelukkig is er een alternatief: de Mann-Whitney U toets.
… Even tussendoor: we sturen elke drie weken een nieuwsbrief met daarin de laatste blogs, teamupdates en natuurlijk nieuws over het aanbod in onze academy. Klik hier om je in te schrijven.
De Mann-Whitney U toets uitgelegd
De Mann-Whitney U toets is een statistische toets die je vertelt of een variabele significant verschilt tussen twee groepen. Naast dat deze toets kan omgaan met continue data (zoals gemiddelde orderwaarde), is er nog een ander voordeel: de toets niet-parametrisch. Dit houdt in dat er geen aannames worden gedaan over de onderliggende verdeling van de data. Dit is handig wanneer de data bijvoorbeeld niet normaal verdeeld is (zie figuur 1). En dat komt goed uit, want dit is meestal het geval bij variabelen die relevant zijn voor A/B-testen, zoals AOV en time on page. Deze data heeft namelijk een ondergrens bij nul, terwijl het maximum onbegrensd is. Dit zorgt ervoor dat de verdeling een vorm heeft die vergelijkbaar is met onderstaande afbeelding.
Toepassen in de praktijk
Zelf aan de slag met de Mann-Whitney U toets, maar geen idee hoe te beginnen? Wij hebben een Continuous Metric Calculator toegevoegd aan onze CRO toolkit! Nadat je een gratis account hebt aangemaakt, kun je aan de slag. Je vult hier zelf de gevonden uitkomsten van een A/B-test in, en de tool berekent of er een significant verschil is tussen de twee varianten. Zo maak je continue variabelen ook onderdeel van jouw A/B-test-analyse.
Heb je vragen over het gebruik van deze tool? Mail ze naar: analisten@onlinedialogue.com
Misschien vind je dit ook interessant:
