Op weg naar datagedreven werken: investeren, experimenteren, leren en transformeren

Eén tot vijf regels code, dat is volgens Optimizely de gemiddelde lengte van een experiment dat wordt opgezet door haar klanten. Dit betekent dat er voornamelijk kleine veranderingen getest worden. Wat veel mensen alleen niet weten, is dat de gemiddelde klant van Optimizely te weinig bezoekers heeft om goed te kunnen experimenteren op kleine veranderingen, zoals de kleur van een button. Kleine veranderingen testen met kleine bezoekersaantallen zorgt voor een verhoogde kans op false positives en false negatives, doordat het effect vaak niet groot genoeg is om te herkennen. Daarnaast is het zonde om de bezoekersaantallen die je hebt te gebruiken voor veranderingen met een lage impact.

Een korte berekening met de sample size calculator van Optimizely maakt snel duidelijk hoe het zit met die bezoekersaantallen. Stel, je hebt een goedlopende website met een conversiepercentage van 10 procent en je ontvangt 4.000 bezoekers per dag. Door de kleine aanpassing verwacht je een minimale uplift van 2 procent.

Dit betekent dat je gedurende het experiment minimaal 440.000 bezoekers per variant moet ontvangen en je dus 440.000 / 4.000 = 110 dagen moet testen om met zekerheid een effect van 2 procent of hoger te herkennen. Dat is een heel lange test, voor maar een klein verschil in uplift. En dan hebben we het nog niet eens gehad over de gevolgen van lang testen.

Op weg naar datagedreven werken

Veel partijen moeten niet willen experimenteren

Dergelijke bezoekerscijfers zorgen ervoor dat veel organisaties niet kunnen experimenteren. Dit neemt echter niet weg dat beslissingen op basis van data en psychologie waardevol zijn voor iedere organisatie. Hieronder leg ik uit welke fasen je als bedrijf doorgaat als je datagedreven wilt werken, wie je hiervoor moet aannemen en wat het je als bedrijf kan opleveren.

1. Te weinig conversies om te kunnen experimenteren

In deze eerste fase is je bedrijf nog niet groot genoeg om te experimenteren, maar je wilt wel je product of service schalen. Daarom neem je een allround conversiespecialist aan. Deze neemt snelle beslissingen op basis van data, bijvoorbeeld afkomstig van tools als Hotjar en Usabilla, probeert door middel van creatieve, out-of-the-box oplossingen je organisatie snel te groeien. Snelle beslissingen, grote veranderingen, allemaal gericht op het verkrijgen van meer tractie.

2. Genoeg conversies om te experimenteren

De conversiespecialist heeft geholpen je bedrijf op te schalen, dus je hebt voldoende conversies om te starten met experimenteren. In dit artikel leg ik uit dat je vanaf 1.000 conversies kan starten met experimenteren. Dit kunnen ook ‘zachte’ conversies zijn, zoals clicks.

Hierbij is het belangrijk eerst na te gaan in welke plekken van je site je het beste energie kunt steken. Als je begint met experimenteren, hoef je niet direct een compleet conversie-optimalisatieteam (CRO-team) te hebben. Met een webanalist en UX-expert kom je al heel ver, genoeg om de eerste stappen te zetten richting datagedreven groei.

In deze fase is het belangrijk dat je zoveel mogelijk gaat experimenteren. Hierbij geldt: “Kwantiteit boven kwaliteit”. Waarom? Omdat in deze fase alles draait om kennisvergaring over je klant. Gooi je vertrouwde best practices in de prullenbak en leer opnieuw je klant kennen aan de hand van de resultaten van je experimenten. Probeer er eerst achter te komen wat je klant doet. De waarom-vraag komt later.

3. Genoeg experimenten om te leren

Je experimenteert erop los en maakt volledig gebruik van je testpotentieel. Nu de snelheid hoog ligt, is het tijd ook de kwaliteit te verhogen. Hoe? Door alle inzichten die je opdoet via je experimenten op te slaan, begrijp je steeds meer over het gedrag van je bezoekers. Je weet niet alleen wat ze doen, maar ook waarom. Op dit punt is het cruciaal dat je een psycholoog toevoegt aan je (misschien inmiddels al gegroeide) CRO-team.

Een psycholoog zal de gedragsdata vertalen naar nieuwe hypothesen. Zo bouw je voort op de resultaten van je experimenten, waardoor de kwaliteit toeneemt en je klantkennis verdiept. Op dit punt zijn er vaak eerder te veel dan te weinig ideeën voor nieuwe experimenten. Maar door te kijken naar de resultaten van eerdere experimenten, wordt het makkelijker je testideeën te prioriteren. Dat betekent: niet met losse flodders schieten, maar gericht experimenteren om het gedrag van je bezoeker echt te doorgronden.

4. Genoeg leren om te innoveren

Na een goede periode experimenteren met een volledig CRO-team, heb je de inzichten die je nodig hebt om je bedrijf te transformeren. Als je begrijpt wie je bezoekers zijn en wat ze willen, kun je niet alleen de kwaliteit van je CRO-programma verbeteren, maar kun je deze kennis ook inzetten voor marketingdoeleinden, technologische ontwikkelingen en productinnovaties.

Op weg naar datagedreven werken
Meer dan de helft van alle experimenten vergt slechts één tot vijf regels code (bron: Optimizely)

Je investeert. Je experimenteert. Je leert. Je transformeert

Er zijn verschillende fasen die je als bedrijf doorloopt als je begint met bewijsgedreven werken. Let erop dat je pas begint met experimenteren als je minimaal 1.000 conversies hebt en zorg dat je vervolgens zoveel mogelijk experimenteert om snel meer van het klant gedrag te leren. Pas daarna kun je focussen op de kwaliteit van je experimenten.

Als je inzicht hebt in het gedrag van je bezoekers en begrijpt waarom ze zich op een bepaalde manier gedragen, heb je de kennis die het mogelijk maakt om je bedrijf te transformeren.

Dit artikel is op 25 oktober jl. gepubliceerd op Marketingfacts.

Ton Wesseling - founder

Trainer / consultant / lead voor conversie optimalisatie (CRO), digitale experimenten en A/B-testen. Meer informatie over Ton: TonW.com. Ton is de oprichter van Online Dialogue en nog altijd gepassioneerd CRO promoter via evenementen zoals Conversion Hotel en de Experimentation Culture Awards en platformen zoals ABtestguide en de Optimizers Community.