In de vorige blogs heb je alles kunnen lezen over het belang van een goede hypothese en hoe je een goede rapportage kunt schrijven. Het laatste onderdeel van een goede rapportage is beschrijven wat de vervolgstappen zijn. Ten eerste: Wat raad je aan? Zou de variant moeten worden geïmplementeerd of niet? Ten tweede, hoe ga je verder bouwen op deze bevindingen? Wat zijn de vervolg tests die je zou willen doen?
Als je besluit om een variant te implementeren, dan heb je een succesvolle test uitgevoerd. Op welke manier zou je hier nog verder op door kunnen gaan?Als je besluit om de variant niet te implementeren, dan heeft de test blijkbaar niet uitgepakt zoals je had gedacht. Hier komen je alternatieve verklaringen weer aan bod. Waar denk je dat deze uitkomst door is veroorzaakt? Hoe zou je hierop verder kunnen bouwen?
Verder testen op basis van eerder experiment: Wickey
Uit het gebruikte voorbeeld bleek dat het omhoogplaatsen van de product beschrijvingen op de website van Wickey een negatief effect had op add-to-carts en afgeronde bestellingen. De alternatieve verklaring is dat de informatieve waarde van de product beschrijvingen te laag was. Mogelijk had het omhoogplaatsen een averechts effect, omdat daardoor extra duidelijk werd dat bezoekers deze informatie niet goed konden gebruiken terwijl ze dat wel zouden willen. In een vervolgtest wilde ik voortbouwen op de resultaten en uitzoeken of product beschrijvingen inderdaad zo belangrijk waren voor bezoekers. In deze vervolgtest hebben we de productbeschrijvingen van de top-19 producten aangepast, met als doel de informatieve waarde te verhogen. In plaats van het de avontuurlijke, verhalende beschrijving, werden de productbeschrijvingen aangepast naar een meer informatieve beschrijving van de speeltoestellen.
De hypothese was: door de informatieve waarde in de productbeschrijvingen te verhogen, zullen cartviews en kliks op “lees meer” toenemen. De onderliggende onderbouwing was nog steeds hetzelfde: bezoekers hebben veel interactie met de “lees meer” button, wat waarschijnlijk betekent dat bezoekers de product beschrijvingen gebruiken om te bepalen of een product aansluit bij hun wensen.
In Figuur 1 kun je de resultaten van het vervolgexperiment zien. Dit experiment was een grote winnaar. Cartviews gingen met 16% omhoog en kliks op “lees meer” waren zelfs met 383% (!) gestegen. Oftewel, de resultaten sloten heel goed aan bij de lijn van redeneren. Aanvullende maten lieten ook zien dat de tijd op de pagina was gestegen, waaruit je kunt afleiden dat bezoekers ook meer tijd besteden aan het lezen van de product beschrijvingen. Nu hielp het bezoekers blijkbaar wel om te beslissen of een speeltoestel aansloot bij hun wensen, want flink meer bezoekers maakte de vervolgstap in het aankoopproces. Wat we hieruit kunnen leren is dat de productbeschrijvingen dus inderdaad belangrijk voor bezoekers zijn, mits de informatieve waarde hoog genoeg is. De aanbevelingen voor dit experiment zijn dan ook om de B-variant te implementeren.
Daarnaast betekent dit dat het originele idee om de productbeschrijvingen omhoog te plaatsen wellicht opnieuw de moeite waard is om te testen, maar dan met de aangepaste en informatievere productbeschrijvingen. Vervolgstappen na afloop van deze test zijn dan ook het hertesten van het omhoogplaatsen, maar ook het verder verfijnen van de informatieve waarde van de product beschrijvingen. In Figuur 2 kun je een voorbeeld rapportage zien waarin elk onderdeel beschreven staat. Met kleurcodes is aangegeven welke stukjes bij welk onderdeel (heden, verleden, toekomst) horen.
… Even tussendoor: we sturen elke drie weken een nieuwsbrief met daarin de laatste blogs, teamupdates en natuurlijk nieuws over het aanbod in onze academy. Klik hier om je in te schrijven.
Checklist 3: Aanbevelingen en vervolgstappen verbeteren
- Wil je de variant implementeren of niet?
- Indien ja, hoe kun je dan doortesten op dezelfde richting?
- Indien nee, welke test ideeën volgen er uit je alternatieve verklaringen?
- Heb je alle onderdelen (heden, verleden, & toekomst) beschreven in je rapportage?
Conclusie
Meer leren van je afgeronde experimenten dan alleen de uplift blijkt vaak moeilijk. In deze blog zijn drie onderdelen beschreven die essentieel zijn voor een goede A/B-test rapportage. Namelijk het verleden, heden en de toekomst. Door deze onderdelen op te nemen in je rapportage kun je ervoor zorgen dat je van elk experiment dat je uitvoert zoveel mogelijk leert.
