Op donderdag 3 november 2022 organiseerde Online Dialogue de 40ste editie van Dialogue Donderdag. De DiDo is hét event waarbij we onze klanten en relaties uitnodigen om bij ons op kantoor te brainstormen over een actueel thema uit de wereld van experimenteren en optimaliseren. Het thema van deze editie van de DiDo was: Results are not Learnings.
De volgende sprekers hebben hun ervaringen met ons gedeeld:
- Dorian Gonzalez, CRO specialist bij YourSurprise
- Florien Cramwinckel, senior behavioral expert bij Online Dialogue
Dorian Gonzalez over CRO bij YourSurprise
Dorian Gonzalez is CRO specialist bij YourSurprise. YourSurprise is een eCommerce bedrijf dat gepersonaliseerde cadeaus verkoopt. In haar presentatie tijdens de DiDo vertelde Dorian hoe ze CRO heeft toegepast bij YourSurprise, hoe dat proces in zijn werk is gegaan en wat hiervan de resultaten waren.
Voordat Dorian bij YourSurprise kwam werden beslissingen in het bedrijf niet gebaseerd op data, maar op gevoel. Het probleem hierbij was dat verschillende teams die zich focussen op verschillende klanten (sommigen B2B en sommigen B2C), verschillende ideeën hadden over wat het beste zou werken.
Na een sessie met Desiree van der Horst van Online Dialogue was Dorian geïnspireerd door the art of less is more. Ze begon elementen van de website te verwijderen en verschillende ideeën te testen. Hier ontstond het idee om de hele productpagina opnieuw te ontwerpen. In het nieuwe ontwerp werd de meeste informatie ingekort, werden de verzendkosten verwijderd en werden recensies herhaald.
Veel mensen uit het team waren in eerste instantie niet blij met alle veranderingen. Dit veranderde toen Dorian de resultaten ging communiceren met het team. Ze kwam erachter dat toen ze duidelijk ging communiceren, dit het CRO proces binnen YourSurprise een stuk makkelijker maakte. Drie punten waren hierbij belangrijk:
- Be humble. Wanneer een test niet blijkt te werken, moet je eerlijk zijn en de echte resultaten communiceren.
- Vind bondgenoten en maak hen deel uit van het proces. Dorian zorgde voor een manier waarop verschillende afdelingen met elkaar konden concurreren. Hierdoor kwamen de ideeën niet alleen vanuit haar, maar vanuit verschillende teams.
- Communiceer resultaten op alle mogelijke kanalen en maak het grafisch: benoem nogmaals wat de hypothese was, op welke apparaten en in welke landen je hebt getest en laat de originele en aangepaste versies zien.
Florien Cramwinckel: Hoe kun je meer leren van je experimenten?
Florien Cramwinckel is senior behavioral expert bij Online Dialogue en gaf tijdens de DiDo een interessante presentatie over hoe je meer kunt leren uit je experimenten. Veel A/B-test rapportages bevatten alleen de uplift van een experiment (bijv. +5.5% conversies). Maar dat is niet genoeg om echt te kunnen leren. Ze benoemde de 3 elementen die je nodig hebt in elke rapportage: past, present en future.
Past: hypothese + onderbouwing
Elk experiment valt of staat met een goed onderbouwde hypothese. Bij past beschrijf je je hypothese, wat je onderzoekt en waarom je dit onderzoekt. Je kunt het 6V model gebruiken om je hypothese op te stellen en te onderbouwen met verschillende bronnen.
In het gegeven voorbeeld is er gebruikgemaakt van psychologische literatuur, data analyse, funnel informatie, hotjar recordings en heatmaps. Hieruit bleek dat de PDP een obstakel was; weinig mensen klikten door naar de winkelwagen. We zagen veel clicks op de productbeschrijving, ondanks dat deze laag op de pagina was gepositioneerd. In de test wilden we daarom de aandacht focussen op de productbeschrijving. De productbeschrijving kan bezoekers informatie geven die ze helpt om te bepalen of het product aansluit bij hun wensen, en is daarmee mogelijk bepalend voor het wel of niet plaatsen van een order.
Door de productbeschrijving omhoog te plaatsen trekken we meer aandacht naar de informatie die ze nodig hebben. Dit leidde tot de volgende hypothese: Het presenteren van informatie hoger op de PDP trekt meer de aandacht van bezoekers wat zal leiden tot meer toevoegingen aan de winkelwagen (H2) en geplaatste orders (H1).
Present: results & learnings
Bij Present beschrijf je de huidige bevindingen. Hoe zag de test eruit en wat zijn de uitkomsten? De voorbeeldcase was een grote verliezer. In tegenstelling tot verwachtingen toonden de resultaten een afname van zowel geplaatste orders (H1) als toevoegingen aan de winkelwagen (H2). Florien vroeg het publiek wat ze in deze situatie zouden doen. Dit is vaak een punt waarbij zo snel mogelijk wordt doorgegaan naar een nieuw-test idee, maar dat is zonde.
In deze situatie is het belangrijk om terug te gaan naar je hypothese, te achterhalen wat er mis is gegaan, je data te inspecteren en de elementen die je hebt veranderd in je test kritisch te analyseren. Juist in verliezende tests kan heel veel waardevolle informatie zitten. Of in Florien’s woorden: “Your results are a present, unwrap them!”
In de voorbeeldcase is dit gedaan door uit te zoeken hoe mensen reageerden op die productbeschrijvingen. Ze bleken er wel meer mee te interacteren (er werd veel op geklikt), maar de tijd op de pagina was gedaald. Oftewel, blijkbaar werd er niet meer tijd besteed aan het lezen? Waarom niet? Inhoudelijke analyse van de productbeschrijvingen liet zien dat de informatieve waarde van de beschrijvingen misschien niet hoog genoeg was.
Future: aanbevelingen en vervolg
Future bestaat uit de vervolgstappen. Wat is je aanbeveling? Wel of niet implementeren? En wat zijn mogelijke vervolg test ideeën? Gebaseerd op de resultaten van de test in de voorbeeldcase konden we niet concluderen of het hoger plaatsen van de beschrijving een goed idee is of niet. We moesten eerst onderzoeken of het klopt dat de productbeschrijvingen in deze situatie inderdaad niet nuttig zijn en dat mensen een ander soort productbeschrijving verwachten.
De nieuwe hypothese was als volgt: Door het toenemen van de informatieve waarde in de productbeschrijving, zal het bekijken van de winkelwagen (H1) en zullen clicks op ‘meer lezen’ (H2) toenemen. In de vervolgtest hebben we daarom de productbeschrijvingen aangepast zodat de informatieve waarde steeg. Na de test vonden we nieuwe test ideeën voor de voorbeeldcase, wat leidde tot een positief resultaat. Ook bij het rapporteren van deze resultaten zijn alle drie de elementen (past, present en future) hierin verwerkt.
Na de inspirerende presentatie van Florien kon het publiek zelf aan de slag om de drie elementen toe te passen op hun eigen rapportages.
DiDo #41
De volgende editie van Dialogue Donderdag staat gepland in het voorjaar van 2023. Meld je aan voor de nieuwsbrief om als eerste op de hoogte te zijn van onze events.
We vinden het leuk om nieuwe ideeën te krijgen voor onze events. Heb je een interessant onderwerp of een ander goed idee over de invulling van de DiDo? Neem contact met ons op!
