In het eerste deel van deze serie van 3 blogs kon je alles lezen over het belang van een goede hypothese en welke aspecten bij een goed onderbouwde hypothese horen. Het tweede belangrijke onderdeel van een rapportage is het heden: Wat zijn de uitkomsten van het experiment? Het daadwerkelijke beschrijven van de uitkomsten lukt meestal wel. Denk aan informatie zoals “de uplift op orders was +3.5%” of “doorkliks daalden met -7.3%”. Oftewel, in dit onderdeel beschrijf je dus de resultaten (de cijfers) van een experiment.
Voorbeeld resultaten: Wickey
In de afbeelding hierboven kun je de uitkomsten van het voorbeeld experiment zien. Ai ai ai. In tegenstelling tot verwachting was dit experiment een grote verliezer. Zowel de add to carts, als de afgeronde bestellingen waren flink naar beneden gegaan. Wat nu?
Dit is het punt waarop ik zie dat veel mensen hun rapportage zo snel mogelijk afraffelen. De mindset lijkt te zijn “dit is een verliezer, weg ermee, en op naar het volgende experiment.”. En ik begrijp het. Falen is pijnlijk. Maar dit is echt zonde. Je kunt veel meer uit je resultaten halen dan je denkt, en ik zal je uitleggen hoe.
Probeer je resultaten te beschouwen als een kadootje, ook als het een verliezend experiment is. Als je alleen beschrijft wat de uplift of downlift op je uitkomsmaat was, zonder verder te kijken, dan is het alsof je een kadootje krijgt, het pakpapier bekijkt, en vervolgens het kado onuitgepakt in de kast zet. Kadootjes moet je uitpakken, en dat zelfde geldt voor de uitkomsten van de A/B-test.
Uitpakken van resultaten: Wickey
Een grote afname in zowel add-to-carts als in afgeronde verkopen, dat was natuurlijk niet in lijn met verwachtingen. Dus dit was een excellent moment om eens uit te zoeken waarom de uitkomst zo anders was dan verwacht. Ik ging terug naar mijn hypothese en de onderbouwing ervan. De hypothese was dat het omhoogplaatsen van de product beschrijvingen meer aandacht zou trekken, wat zou leiden tot meer add-to-carts en meer afgeronde bestellingen. De onderbouwing was de product beschrijvingen bezoekers helpen omdat ze informatie geven op basis waarvan bezoekers kunnen beslissen of het product aansluit bij hun wensen.
Uit de resultaten bleek inderdaad dat de productbeschrijvingen meer aandacht trokken, er waren namelijk 50% meer kliks op “lees meer” in de B variant (zie Figuur 1). Dit gedeelte van de hypothese werd dus wel ondersteund door de data.
Hoe zit het dan met de behulpzaamheid van de product beschrijvingen? Uit de resultaten bleek ook dat tijd op de pagina was gedaald. Dit paste niet bij de lijn van redenering: als de product beschrijvingen behulpzaam zouden zijn, dan zouden we verwachten dat mensen tijd besteden aan het lezen ervan, en dan zou tijd op de pagina eerder moeten stijgen dan dalen. Oftewel: uit die dalende tijd op pagina leidde ik af dat de product beschrijvingen ofwel niet werden gelezen door mensen, ofwel niet behulpzaam was.
Nou waarom zou deze productbeschrijving niet behulpzaam zijn? Tijd om eens kritisch te kijken naar de inhoud van de product beschrijvingen, zie Figuur 2.
Hierboven zie je een productbeschrijving van een speeltoestel. Zoals je kunt lezen is deze productbeschrijving erg verhalend ingestoken, en lijkt het te zijn bedoeld voor de kinderen die gaan spelen met het toestel, in plaats van voor de ouders die het toestel daadwerkelijk moeten aanschaffen. Je kunt je voorstellen dat deze productbeschrijving echter niet veel inhoudelijke houvast geeft op basis waarvan potentiële kopers kunnen besluiten of het een geschikt toestel is. Hieruit blijkt dat een assumptie waar dit experiment op gebaseerd was –dat product beschrijvingen nuttige informatie leven aan bezoekers– wellicht niet klopt.
Mijn vervolgstap is dan om uit te zoeken of de lijn van redeneren, dat bezoekers de product informatie nodig hebben, wel klopt als de informatiewaarde van de productbeschrijving hoger is. Pas als ik dat weet, kan ik echt concluderen of de hypothese van dit experiment wel of niet klopt.
Checklist 2: Verbeter je resultaten & learnings
- Heb je beschreven wat de uitkomst is van je experiment op de meest belangrijke uitkomstmaat? Beschrijf de verandering op de belangrijkste uitkomstmaten. Dus bijvoorbeeld een +5% uplift in conversie, of een -3% downlift in add-to-carts. Deze stap gaat meestal wel goed. Let op dat je hier ook vooral focust op de uitkomstmaat uit je hypothese, en niet op allerlei mogelijk interessante, maar niet gehypothetiseerde, rand bevindingen.
- Hoe sluiten deze resultaten aan bij de hypothese? Is dit wat je had verwacht, of juist niet? Benoem dat expliciet. Gebruik zinnetjes zoals “in tegenstelling tot verwachtingen…” of “zoals verwacht….” zodat het voor de lezer gelijk duidelijk was of dit wel of niet ondersteunend is voor je lijn van redeneren.
- Bedenk alternatieve verklaringen voor onverwachte bevindingen. Ga terug naar je onderbouwing → welk onderdeel van je onderbouwing wordt wel/niet ondersteund door data? Voor de onderdelen die niet ondersteund worden → wat zijn mogelijke verklaringen hiervoor? Je kunt hiervoor bijvoorbeeld gaan kijken naar verschillende segmenten, devices, metrics. Werp nog eens een kritische blik op je designs. Kun je afleiden waarom het niet goed heeft gewerkt? Dit is wél een goed moment om te kijken naar andere soorten metrics, die mogelijk een completer plaatje kunnen geven, of een alternatieve verklaring zouden kunnen ondersteunen of juist ontkrachten.
Meer weten?
Het laatste deel van een goede rapportage is beschrijven wat de volgstappen zijn. Wil je hier meer over weten? Je leest er alles over in de volgende blog!
