Dialogue Donderdag #27
Op donderdag 14 juni organiseerde Online Dialogue de 27e Dialogue Donderdag (DiDo). Speciaal voor de 27ste editie hebben we niemand minder dan Niels Reijmer van de Bijenkorf en Ellen Tonkens van wehkamp uitgenodigd om hun ervaringen en kennis met ons te delen op het gebied van CRO. De ultieme kandidaten voor een succesvol, high velocity CRO programma. De dag startte met een inleiding van Tom van den Berg:
Tom van den Berg | Conversion Specialist @ Online Dialogue
Door digitale ontwikkelingen zijn we steeds beter in staat alle aannames over onze gebruikers en klanten te valideren. Snel groeiende organisaties zoals Booking.com, Facebook, Amazon en Google zijn er al van overtuigd: hoe meer en sneller je valideert, hoe sneller je groeit. Tom van den Berg deelde drie tips om een validatie cultuur binnen een organisatie te bewerkstelligen.
1. Bepaal je OEC
Zorg dat je altijd een Overall Evaluation Criteria (OEC) vaststelt voordat je start met experimenteren. Doordat je van te voren afspreekt wat het belangrijkste doel is, voorkom je onnodige discussies na afloop van een experiment. Bijvoorbeeld wanneer een variant wel beter scoort op conversies, maar de retouren ook toenemen. Eén optie is om een formule op te stellen waar rekening wordt gehouden met de verschillende doelen. Een andere mogelijkheid is om één main metric te nemen en een aantal guardrail metrics. Als de main metric positief is en de guardrail metrics niet beneden een bepaalde threshold komen dan kan het experiment als succes bevonden worden.
2. Efficiëntie en effectiviteit
Vaak zien we dat effectief en efficiënt werken los van elkaar worden gezien. Aan de ene kant worden werkmethodes als scrum, sigma en kanban geïntroduceerd. Waarin de focus vooral ligt op efficiëntie: binnen zo kort mogelijk tijd iets opleveren. Hierbij wordt vaak niet gekeken naar de opbrengsten of de ROI (opbrengsten/kosten) die deze methodes leveren. Door optimalisatie en een werkmethode als scrum te combineren voeg je efficiëntie en effectiviteit samen. Op die manier weet je precies wat je aanpassingen/toevoegingen opleveren en voorkom je implementaties van elementen die misschien wel een negatief effect hebben op je conversies.
3. Validation is about Velocity!
Regelmatig zien we dat als mensen denken aan groeien binnen het CRO programma, ze voornamelijk kijken naar het verhogen van de kwaliteit per experiment. Maar wat is makkelijker? De kwantiteit verdubbelen of de kwaliteit? Zoals bovenstaande berekening laat zien, stijgen de kosten van een experiment sneller dan de waarde die een experiment zal toevoegen. Bij al onze klanten doen we om die reden voor we beginnen met experimenteren een bandbreedte calculatie waarin we precies kunnen zien hoeveel er geëxperimenteerd kan worden, maar ook hoeveel mogelijkheden de organisatie laat liggen zodra ze niet gebruikmaken van de hele bandbreedte. Kortom: Niet lullen, maar toetsen.
Niels Reijmer | Lead Data Analyst @ Bijenkorf
Door het combineren van data uit alle touchpoints kun je een totaalbeeld creëren van de bezoeker. Maar hoe zet je al die data om in relevante informatie voor de bezoeker? En hoe vertel je continue hetzelfde verhaal? In zijn presentatie deelde Niels Reijmer hoe hij bij de Bijenkorf segmenten creëert en personalisatie toepast op de website, e-mails en andere online marketing kanalen.
CRO bij de Bijenkorf
De afgelopen jaren is de online verkoop van de Bijenkorf hard gegroeid. Om deze groei ook de komende jaren vol te kunnen houden is CRO heel belangrijk. Al sinds 2012 is de Bijenkorf bezig met Conversie Optimalisatie en door de jaren heen zijn ze gegroeid van een conversie manager die alles zelf deed, naar een organisatie waarin alle product teams verantwoordelijk zijn voor hun eigen optimalisatie werkzaamheden. Om hun CRO programma naar een volgend niveau te tillen hebben ze de afgelopen maanden hard gewerkt om de volgende stap te maken.
De eerste stap naar personalisatie
De Bijenkorf heeft enorm veel producten waardoor filteren erg moeilijk is. Een oplossing om klanten toch relevante producten te laten zien (zonder ze te overspoelen met producten die helemaal niet interessant voor hen zijn) is personalisatie. Maar waar begin je?
Start simpel en snel
Om het simpel te houden zijn ze gestart met productsegmentatie op basis van merk: je clustert alle merken die vaak samen verkocht worden en je geeft namen aan de clusters. Om te testen of de clusters daadwerkelijk waardevol zijn hebben ze e-mail campagnes opgezet om ze te A/B testen. Langzamerhand hebben ze op deze manier steeds meer attributen toegevoegd en weggelaten wanneer deze geen positief effect hadden.
De eerste stap van personalisatie binnen segmentatie
Nadat ze een aantal attributen getest hadden in de mail was het tijd om over te stappen naar de website. Helaas duurde dit iets langer dan gepland, maar na een aantal keer vallen en opstaan was het mogelijk om ook binnen de webshop te segmenteren! Door telkens door te testen en te segmenteren heeft de Bijenkorf enorm veel geleerd over hun klanten en dus was het tijd om de stap te maken naar personalisatie. Door alle informatie die ze verzameld hadden te verwerken in een neuraal netwerk kunnen ze nu aan de hand van eerder gekochte producten nieuwe interessante producten aanbevelen voor een bezoeker.
Kortom, wil je personaliseren, volg dan de volgende stappen:
- verzamel de juiste data,
- neem een kanaal waar je snel mee kunt starten,
- start met eenvoudige segmenten,
- dubbel check, dubbel check, dubbel check.
En uiteindelijk komt het maar op een ding neer: gewoon beginnen.
Ellen Tonkens | Conversion Specialist @ wehkamp
Sinds vorig jaar is wehkamp begonnen met een transitie, waarbij steeds meer geëxperimenteerd wordt op een steeds hoger tempo. Hoe richt je zo’n experimentation proces in, hoe schaal je het op en welke growing pains komen daarbij kijken? In haar presentatie deelde Ellen Tonkens hoe ze bij wehkamp de experimenten in goede banen leidt en het proces klaarmaakt om op te schalen.
CRO bij wehkamp
Net als de Bijenkorf werkt ook wehkamp vanuit productteams die samen met de product owners (en eventueel een ninja) samenwerken aan CRO. Ieder team heeft een eigen North Star en alle experimenten staan in het teken van die North Star. Tijdens de sprints zijn er vaste momenten ingepland voor experimenten die grotendeels onder leiding van de product owner worden uitgevoerd.
Naast de productteams zijn er ook nog customer experience, experimentation en interaction design teams die als een soort stafafdeling over alle teams heen werken. Het experimentation team heeft wekelijks een meeting met de product owners om te kijken of alles goed gaat en alles goed gemeten wordt. Tijdens shop performance meetings rapporteren alle teams de impact van hun experimenten en vervolgens wordt een schatting gemaakt van de opbrengst van A/B testen die gerapporteerd wordt aan het management.
Learnings & uitdagingen
Door de jaren heen zijn ze flink gegroeid en zijn ze snel opgeschaald in hun CRO programma, maar ook dit ging niet zonder tegenslagen. Ellen Tonkens deelde haar belangrijkste learnings:
- Meet alles op de pagina als je grote veranderingen test! Als je meerdere wijzigingen doet in een experiment weet je anders niet meer wat de verandering in gedrag veroorzaakt. Door alle belangrijke elementen te taggen heb je meer kans om te achterhalen waar de wijziging door komt.
- Zorg dat de resultaten goed vindbaar blijven!
- Zorg dat je testing tool aansluit bij je behoefte. Een test tool kan enorm in de weg zitten als het niet meer bij je past.
- Experimenteer op je proces: vind alle bottlenecks en optimaliseer ze.
Meer testen!
Om het niveau van hun CRO programma nog een tandje hoger te zetten wilt wehkamp het aantal experimenten dat ze doen verder opschalen. In dit proces moet het experimentation team echter geen bottleneck worden voor de andere teams binnen de organisatie, dus maken ze de stap naar een Center of Excellence: het proces wordt gladgestreken en gestandaardiseerd, de testen moeten goed gedocumenteerd en de focus verschuift van uitvoeren naar opleiden.
Om alles voor elkaar te krijgen heeft wehkamp een aantal doelen gesteld voor de komende periode:
- Tagging per test standaardiseren.
- Dashboard maken waarin we alle testen die live staan kunnen volgen.
- Events inbouwen die checken of een test gezien is wanneer deze laag op de pagina plaatsvindt.
- Meldingen inbouwen als een experiment een groot negatief effect heeft of andere bugs veroorzaakt.
- Overall Evaluation Criteria ontwikkelen.
- Geautomatiseerde analyses voor de simpele testen.
- Instellen guardrail metrics en automatische alerts.
- Server side testen: voor meer zelfstandigheid van teams, hoger test tempo, mogelijkheid tot complexere testen en personalisatie en snel deployen na successen.
De Bijenkorf en wehkamp groeien hard en het conversie optimalisatie / personalisatie programma is hier een belangrijk onderdeel van. Binnen beide bedrijven heerst een datagedreven cultuur waarin teams de vrijheid krijgen om ideeën te valideren. Deze validatie zorgt ervoor dat de ideeën die live komen ook daadwerkelijk waarde toevoegen voor de bezoekers en het bedrijf.
Wil je meer weten over de 27e Dialogue Donderdag? Bekijk de compilatievideo voor een overzicht van de middag, klik op de onderstaande links voor de slides van alle presentaties of meld je aan voor onze nieuwsbrief om op de hoogte te blijven van al onze events!
