Conversie optimalisatie programma’s hebben in de basis één key metric om te bepalen of een experiment een positieve, danwel negatieve impact maakt. Guardrail metrics vertellen je of de gemeten uitkomst betrouwbaar is en geïmplementeerd mag worden.
Scheve verdeling
De ‘randomized controlled trial’, het experiment, is een heel krachtig middel om te bepalen wat het effect is van een aanpassing op de key metric van een bedrijf. Voorwaarde is wel dat de verdeling over de A- en B-variant ook echt random is. Om allerlei technische redenen kunnen hier fouten in ontstaan. In elk belangrijk gebruikerssegment (van device tot browser, van klant tot prospect) wil je nagaan of de verdeling ook echt random is. Sample ratio mismatch checks leren je hoe groot de kans is dat de verdeling verkeerd is, waardoor je ook weet hoe groot de kans is dat de uitkomst van het experiment is ontstaan door de aanpassingen of is ontstaan door een verkeerde verdeling van de bezoekers in het experiment.
Vervuiling
Tijdens het experiment wil je monitoren of er geen vervuiling ontstaat in de populaties in A en B. Het is eenvoudig te meten of bezoekers beide varianten hebben gezien. Hoe meer dit gebeurt, hoe onwenselijker het is. Het kan echter ook gebeuren dat het mechanisme om bij te houden welke variant je hebt gezien niet goed werkt (cookies worden bijvoorbeeld niet goed geplaatst in de variant). Waardoor je in je metingen niet kunt achterhalen dat iemand beide varianten zag. Belangrijk dus om ook bij te houden of bezoekers het gehele technische proces van het experiment goed doorlopen. Een hoge mate van fouten zorgt voor een hele andere gemeten uitslag dan het werkelijke verschil op de key metric door jouw experiment.
Fouten in de code
In je experiment voeg je code toe aan de website om de nieuwe variant te toetsen op je key metric. Deze nieuwe code kan echter de pagina vertragen of kan zorgen dat bepaalde functionaliteiten voor sommige groepen bezoekers (denk aan bepaalde browser/ device combinaties) niet meer werken. Het monitoren van code error logs in beide varianten in het experiment, het meten van laadsnelheid en het meten van gedrag in browser/ device groepen is van belang om te bepalen of de uitslag van het experiment wel klopt. Het zou immers zo maar kunnen dat de aanpassing an sich een heel goed idee is, maar dat deze eerste technische uitvoer er voor zorgt dat in het experiment niet zichtbaar wordt dat het idee een heel positief effect zou kunnen hebben.
Andere key metrics
De meeste experimenten zijn gericht op het verhogen van het aantal unieke personen met een conversie. Een succesvol bezoek in ogen van de organisatie en de bezoeker. In het geval van een commerciële transactie als conversie kan het echter goed zijn dat het aantal unieke klanten stijgt, maar dat de gemiddelde orderwaarde aanzienlijk daalt. Bij het optimaliseren van een FAQ-omgeving kan het zijn dat het succesvol gebruik aanzienlijk omhoog gaat, maar dat het aantal conversies daalt. Kijk daarom altijd naar het overzicht van alle key metrics voordat het resultaat van een experiment wordt bepaald. Bij voorkeur werk je met één ‘Overall Evaluation Criterion’, waarin meerdere key metrics gewogen het eindresultaat bepalen.
Ton Wesseling vult namens Online Dialogue iedere maand de terugkerende conversie-rubriek in Emerce magazine: het tijdschrift over “the next step in E-business”. Deze maand schreef hij over: Guardrail metrics.
Klik op de afbeelding om deze te vergoten.
Emerce Conversion Rubriek maart 2019
