“Door deze test hebben we het volgende geleerd: We kunnen met 94.86% zekerheid zeggen dat de downlift van 5.14% valide is.” The end.
Onder het kopje “learnings” in A/B-test rapportages van verschillende bedrijven kom ik regelmatig dit soort zinnen tegen. Ik zou dit echter niet als een learning omschrijven. Want wat heb je hier nou echt van opgestoken? Hoe sluit dit aan bij de doelen die je wilde bereiken? Hoe gaat dit je vervolgplannen beïnvloeden? In deze serie van drie blogs leg ik uit welke drie onderdelen essentieel zijn wanneer je een goede A/B-test rapportage wilt schrijven en geef ik je concrete tips om je rapportages te verbeteren. Volg deze stappen om in de vingers te krijgen hoe je écht meer leert van je afgeronde experimenten!
Drie essentiële onderdelen van een goede rapportage
In elke goed opgestelde rapportage moeten drie onderdelen terugkomen. Je kunt deze onderdelen onthouden aan de hand van een ezelsbruggetje: heden, verleden, en toekomst. Net zoals er drie dimensies van tijd zijn, zijn er dus ook drie onderdelen in je rapportage. Bij het verleden beschrijf je welke hypothese je wilde toetsen, en hoe je tot deze hypothese bent gekomen (de onderbouwing). Bij het heden beschrijf je de resultaten van de huidige A/B-test en wat je hiervan hebt geleerd. Bij de toekomst beschrijf je de aanbevelingen (implementeren of niet) en hoe je verder gaat bouwen op deze inzichten. Al deze onderdelen worden in deze blogserie toegelicht aan de hand van een voorbeeldcase voor een van mijn klanten.
De case: Wickey
Wickey is een online aanbieder van houten speeltoestellen voor in de tuin, zoals klimrekken, glijbanen, speelhuisjes en schommels. Samen met Wickey optimaliseren we hun website om beter aan te sluiten bij de ervaring en behoefte van de klanten, en op die manier Wickey te helpen verder te groeien. In deze blog beschrijf ik experimenten die we voor Wickey hebben gedaan.
Het verleden: Hypothese + onderbouwing
Het eerste onderdeel van een goede rapportage is een goed onderbouwde hypothese. Een hypothese is een goed onderbouwde voorspelling over toekomstig gedrag. Hypotheses hebben vaak de vorm van een “als-dan” statement. Minstens zo belangrijk als de daadwerkelijk opgestelde hypothese is de onderbouwing. Waarom verwacht je een bepaalde uitkomst (bijvoorbeeld een toename in conversie) als je een specifieke verandering op de website maakt? Je kunt deze verwachtingen onderbouwen met verschillende bronnen. Binnen Online Dialogue gebruiken we het 6V model, zie de afbeelding hieronder.
Voorbeeld hypothese + onderbouwing: Wickey
Bij de start van de samenwerking met Wickey hebben we uitgebreid onderzoek gedaan om inzicht te krijgen in het gedrag van de bezoekers. Hieruit kwam de product detail pagina als obstakel naar voren; veel bezoekers haakten af op deze pagina en gingen niet door naar de volgende stap (een product in het winkelmandje, of een afgeronde verkoop). Ook bleek uit click&scroll-maps dat veel bezoekers klikten op de knop “lees meer” bij de product beschrijving. De product beschrijving stond echter vrij laag op de pagina, bezoekers moesten hier dus ver voor scrollen. Op basis hiervan leek het probleem op de product detail pagina dat bezoekers nog niet genoeg informatie hadden om te kunnen besluiten of een specifiek speeltoestel aansloot bij hun wensen.
De product beschrijving is bij uitstek het onderdeel waar bezoekers informatie kunnen krijgen over het product, voor wie het geschikt is, welke onderdelen erbij horen, etc. Zeer relevante informatie dus voor bezoekers. Daarom besloten we een A/B-test te doen waarbij we de product beschrijving omhoogplaatsen op de pagina, boven de vouw (zie Figuur 4).
De hypothese bij dit experiment was: door de productbeschrijving hoger op de pagina te plaatsen trekt het meer aandacht, en kunnen bezoekers makkelijker beslissen of het product aansluit bij hun wensen. Daardoor zullen meer bezoekers een product in hun mandje toevoegen, of een bestelling afronden.
De onderbouwing hiervoor is dat bezoekers product informatie nodig hebben om te kunnen besluiten of een product geschikt is, en dat die product informatie dus essentiële informatie bevat.
Checklist 1: verbeter je eigen hypothese & onderbouwing
Het schrijven van een goed onderbouwde hypothese is voor veel mensen een uitdaging. Dit is niet zo gek, want het vergt ook behoorlijk wat oefening. Een aantal vragen zijn belangrijk. Controleer in je eigen rapportages of je hier antwoord op geeft.
- Beschrijf je welke uitkomstmaat je wilt beïnvloeden?
Welke uitkomstmaat zou er volgens jou moeten veranderen? Zijn dit afgeronde aankopen, add-to-carts, doorkliks, belletjes naar de klantenservice, of iets anders? Benoem je dit? Zo nee → beschrijf dan duidelijker op welke uitkomstmaat je een verandering verwacht.Ook belangrijk hierbij is dat je uitlegt welke verandering je precies gaat maken in het experiment. Dus welke verandering ga je toetsen, en welke uitkomst verwacht je? - Leg je uit waarom je een verandering in deze uitkomstmaat verwacht?
Op basis van welke bronnen of gegevens maak je deze voorspelling? Zijn dit eerdere experimenten? Bepaalde literatuur? Ideeën vanuit de organisatie, of best practices? Is het gebaseerd op feedback van je klanten? Beschrijf duidelijk waarom je deze verandering verwacht.
Meer weten?
Nu je weet wat het belang is van een goede hypothese en hebt geleerd welke aspecten bij een goed onderbouwde hypothese horen, is het tijd voor het analyseren van resultaten en het schrijven van een rapportage. Ben je benieuwd hoe je meer learnings uit je resultaten kunt halen en wil je weten hoe je een goede rapportage schrijft? Je leest er alles over in de volgende blogs!
