November 24, 2025
Will AI make us smarter or dumber? The insights of Klöpping, Scherder and Online Dialogue
Reflection on Klöpping × Scherder by Simon Buil (Data Analyst at Online Dialogue)
Op donderdag 14 juni organiseerde Online Dialogue de 27e Dialogue Donderdag (DiDo). Speciaal voor de 27ste editie hebben we niemand minder dan Niels Reijmer van de Bijenkorf en Ellen Tonkens van wehkamp uitgenodigd om hun ervaringen en kennis met ons te delen op het gebied van CRO. De ultieme kandidaten voor een succesvol, high velocity CRO programma. De dag startte met een inleiding van Tom van den Berg:
Door digitale ontwikkelingen zijn we steeds beter in staat alle aannames over onze gebruikers en klanten te valideren. Snel groeiende organisaties zoals Booking.com, Facebook, Amazon en Google zijn er al van overtuigd: hoe meer en sneller je valideert, hoe sneller je groeit. Tom van den Berg deelde drie tips om een validatie cultuur binnen een organisatie te bewerkstelligen.
Zorg dat je altijd een Overall Evaluation Criteria (OEC) vaststelt voordat je start met experimenteren. Doordat je van te voren afspreekt wat het belangrijkste doel is, voorkom je onnodige discussies na afloop van een experiment. Bijvoorbeeld wanneer een variant wel beter scoort op conversies, maar de retouren ook toenemen. Eén optie is om een formule op te stellen waar rekening wordt gehouden met de verschillende doelen. Een andere mogelijkheid is om één main metric te nemen en een aantal guardrail metrics. Als de main metric positief is en de guardrail metrics niet beneden een bepaalde threshold komen dan kan het experiment als succes bevonden worden.
Vaak zien we dat effectief en efficiënt werken los van elkaar worden gezien. Aan de ene kant worden werkmethodes als scrum, sigma en kanban geïntroduceerd. Waarin de focus vooral ligt op efficiëntie: binnen zo kort mogelijk tijd iets opleveren. Hierbij wordt vaak niet gekeken naar de opbrengsten of de ROI (opbrengsten/kosten) die deze methodes leveren. Door optimalisatie en een werkmethode als scrum te combineren voeg je efficiëntie en effectiviteit samen. Op die manier weet je precies wat je aanpassingen/toevoegingen opleveren en voorkom je implementaties van elementen die misschien wel een negatief effect hebben op je conversies.
Regelmatig zien we dat als mensen denken aan groeien binnen het CRO programma, ze voornamelijk kijken naar het verhogen van de kwaliteit per experiment. Maar wat is makkelijker? De kwantiteit verdubbelen of de kwaliteit? Zoals bovenstaande berekening laat zien, stijgen de kosten van een experiment sneller dan de waarde die een experiment zal toevoegen. Bij al onze klanten doen we om die reden voor we beginnen met experimenteren een bandbreedte calculatie waarin we precies kunnen zien hoeveel er geëxperimenteerd kan worden, maar ook hoeveel mogelijkheden de organisatie laat liggen zodra ze niet gebruikmaken van de hele bandbreedte. Kortom: Niet lullen, maar toetsen.
Door het combineren van data uit alle touchpoints kun je een totaalbeeld creëren van de bezoeker. Maar hoe zet je al die data om in relevante informatie voor de bezoeker? En hoe vertel je continue hetzelfde verhaal? In zijn presentatie deelde Niels Reijmer hoe hij bij de Bijenkorf segmenten creëert en personalisatie toepast op de website, e-mails en andere online marketing kanalen.
De afgelopen jaren is de online verkoop van de Bijenkorf hard gegroeid. Om deze groei ook de komende jaren vol te kunnen houden is CRO heel belangrijk. Al sinds 2012 is de Bijenkorf bezig met Conversie Optimalisatie en door de jaren heen zijn ze gegroeid van een conversie manager die alles zelf deed, naar een organisatie waarin alle product teams verantwoordelijk zijn voor hun eigen optimalisatie werkzaamheden. Om hun CRO programma naar een volgend niveau te tillen hebben ze de afgelopen maanden hard gewerkt om de volgende stap te maken.
De Bijenkorf heeft enorm veel producten waardoor filteren erg moeilijk is. Een oplossing om klanten toch relevante producten te laten zien (zonder ze te overspoelen met producten die helemaal niet interessant voor hen zijn) is personalisatie. Maar waar begin je?
Om het simpel te houden zijn ze gestart met productsegmentatie op basis van merk: je clustert alle merken die vaak samen verkocht worden en je geeft namen aan de clusters. Om te testen of de clusters daadwerkelijk waardevol zijn hebben ze e-mail campagnes opgezet om ze te A/B testen. Langzamerhand hebben ze op deze manier steeds meer attributen toegevoegd en weggelaten wanneer deze geen positief effect hadden.
Nadat ze een aantal attributen getest hadden in de mail was het tijd om over te stappen naar de website. Helaas duurde dit iets langer dan gepland, maar na een aantal keer vallen en opstaan was het mogelijk om ook binnen de webshop te segmenteren! Door telkens door te testen en te segmenteren heeft de Bijenkorf enorm veel geleerd over hun klanten en dus was het tijd om de stap te maken naar personalisatie. Door alle informatie die ze verzameld hadden te verwerken in een neuraal netwerk kunnen ze nu aan de hand van eerder gekochte producten nieuwe interessante producten aanbevelen voor een bezoeker.
Kortom, wil je personaliseren, volg dan de volgende stappen:
En uiteindelijk komt het maar op een ding neer: gewoon beginnen.
Sinds vorig jaar is wehkamp begonnen met een transitie, waarbij steeds meer geëxperimenteerd wordt op een steeds hoger tempo. Hoe richt je zo’n experimentation proces in, hoe schaal je het op en welke growing pains komen daarbij kijken? In haar presentatie deelde Ellen Tonkens hoe ze bij wehkamp de experimenten in goede banen leidt en het proces klaarmaakt om op te schalen.
Net als de Bijenkorf werkt ook wehkamp vanuit productteams die samen met de product owners (en eventueel een ninja) samenwerken aan CRO. Ieder team heeft een eigen North Star en alle experimenten staan in het teken van die North Star. Tijdens de sprints zijn er vaste momenten ingepland voor experimenten die grotendeels onder leiding van de product owner worden uitgevoerd.
Naast de productteams zijn er ook nog customer experience, experimentation en interaction design teams die als een soort stafafdeling over alle teams heen werken. Het experimentation team heeft wekelijks een meeting met de product owners om te kijken of alles goed gaat en alles goed gemeten wordt. Tijdens shop performance meetings rapporteren alle teams de impact van hun experimenten en vervolgens wordt een schatting gemaakt van de opbrengst van A/B testen die gerapporteerd wordt aan het management.
Door de jaren heen zijn ze flink gegroeid en zijn ze snel opgeschaald in hun CRO programma, maar ook dit ging niet zonder tegenslagen. Ellen Tonkens deelde haar belangrijkste learnings:
Om het niveau van hun CRO programma nog een tandje hoger te zetten wilt wehkamp het aantal experimenten dat ze doen verder opschalen. In dit proces moet het experimentation team echter geen bottleneck worden voor de andere teams binnen de organisatie, dus maken ze de stap naar een Center of Excellence: het proces wordt gladgestreken en gestandaardiseerd, de testen moeten goed gedocumenteerd en de focus verschuift van uitvoeren naar opleiden.
Om alles voor elkaar te krijgen heeft wehkamp een aantal doelen gesteld voor de komende periode:
De Bijenkorf en wehkamp groeien hard en het conversie optimalisatie / personalisatie programma is hier een belangrijk onderdeel van. Binnen beide bedrijven heerst een datagedreven cultuur waarin teams de vrijheid krijgen om ideeën te valideren. Deze validatie zorgt ervoor dat de ideeën die live komen ook daadwerkelijk waarde toevoegen voor de bezoekers en het bedrijf.
Wil je meer weten over de 27e Dialogue Donderdag? Bekijk de compilatievideo voor een overzicht van de middag, klik op de onderstaande links voor de slides van alle presentaties of meld je aan voor onze newsletter To keep up to date with all our events!
Nederlands Nederlands
English