Experimentation Elite 2025: wat we leerden over CRO, cultuur en de kracht van AI
Hoe bouw je een succesvolle experimenteercultuur binnen én buiten je organisatie? Hoe gebruik je AI en ongestructureerde data om écht waardevolle inzichten te genereren? En hoe zorg je dat optimalisaties aansluiten op de werkelijke gebruikersbehoeften, inclusief die van mensen met beperkingen?
Tijdens Experimentation Elite 2025 deelden acht sprekers hun visie en praktijkervaringen rondom conversieoptimalisatie, UX, AI, personalisatie en digitale toegankelijkheid. Van BBC tot Zalando, van gedragspsychologie tot experimentdesign: deze talks bieden waardevolle inzichten voor iedereen die bezig is met data-gedreven optimalisatie.
Voor ons werd het event extra bijzonder: Online Dialogue won maar liefst drie awards!
🏆 E-commerce Campaign of the Year – met Travelbags.nl
📈 Media & Marketplaces Campaign of the Year – met Vattenfall
🛫 Travel & Hospitality Campaign of the Year – met Bidfood Nederland
In dit blog vind je de belangrijkste lessen uit de talks van o.a. Ruben de Boer, Juliana Jackson, Desiree van der Horst en Vignesh Lokanathan.
Ruben de Boer
In zijn talk liet Ruben de Boer (Lead Experimentation Consultant bij Online Dialogue) zien dat veel specialisten in conversieoptimalisatie en data-gedreven werken heel goed zijn in het verbeteren van websites, maar diezelfde aanpak vaak niet toepassen binnen hun eigen organisatie. Terwijl juist daar enorme winst te behalen is.
Ruben deelde hoe hij er in 2015 achter kwam dat een cultuur van experimenteren niet vanzelf ontstaat. Zijn pogingen om collega’s enthousiast te maken via updates, presentaties en challenges, behaalden niet het gewenste resultaat. De reden? Hij paste de experimenteer mindset nog niet toe bij zijn aanpak. Hij deed geen onderzoek naar wat collega’s nodig hadden of hoe ze tegenover experimenteren stonden. Hier kwam later verandering in.
Belangrijkste inzichten uit de talk
- Experimenteer in je organisatie zoals je experimenteert op je digitale producten.
- Onderzoek wat collega’s nodig hebben, test verschillende benaderingen en verbeter op basis van feedback, net als bij gebruikers op een website.
Hoe doe je dat?
- Breng stakeholders in kaart: Gebruik het organisatiediagram én informele netwerken. Bepaal wie voor, tegen of neutraal staat tegenover experimenteren en stem je aanpak af op hun rol en invloed.
- Voer ‘colleague research’ uit: Praat met collega’s zoals je met gebruikers zou doen. Vraag naar hun doelen, zorgen en belemmeringen. Zo vind je aanknopingspunten voor samenwerking.
- Vermijd de ‘frustration loop’: Alleen met data of externe voorbeelden (zoals “Netflix doet dit ook”) overtuig je niemand. Toon interesse in hoe collega’s werken en help ze hun doelen te bereiken.
- Verzamel data: Kijk bijvoorbeeld of mails worden geopend, wie presentaties bijwoont en of inzichten worden toegepast. Dat geeft richting aan je aanpak.
- Test en leer: Wat voor het ene team werkt, hoeft niet bij het andere te werken. Er is geen standaardoplossing – dus probeer, leer en pas aan.
Ruben benadrukte dat organisaties net zo divers en veranderlijk zijn als gebruikers. Een succesvolle interne aanpak begint met nieuwsgierigheid, luisteren en het lef om ook binnen je organisatie te experimenteren.
Juliana Jackson
Juliana pleitte voor een fundamentele herziening van hoe we klantgedrag analyseren. Tools zoals heuristische analyses, funnel-analyses en surveys focussen enkel op het laatste stukje van de reis, namelijk de website. Hierdoor missen we de bredere context die plaatsvindt buiten de website. Bijvoorbeeld op sociale media, in zoekopdrachten of via mond-tot-mondreclame. Bedrijven verzamelen enorm veel informatie, maar hebben voornamelijk focus op metrics aan het eind van de funnel, zoals last-click conversies.
Haar oplossing ligt in het benutten van ongestructureerde data (zoals reviews, zoekopdrachten, video’s) die veel beter inzicht geven in emotie, intentie en gedrag. Door technieken zoals Natural Language Processing (NLP) en machine learning toe te passen, kunnen deze databronnen gestructureerd en geanalyseerd worden. Zo kan je bijvoorbeeld via app-reviews gebruikersproblemen ontdekken, of via zoekopdrachten de échte vragen en informatiebehoefte van mensen ontrafelen.
We moeten de content afstemmen op de intentie van de gebruiker. In plaats van voor algoritmes te schrijven, moeten merken focussen op hulpvaardige, mensgerichte content. Door inzichten uit ongestructureerde bronnen te combineren met gedragsdata, ontstaan er sterkere hypotheses en betere gebruikerservaringen.
Kortom: verlaat ouderwetse CRO-methoden, gebruik data science om diepere inzichten te verkrijgen en bouw optimalisaties op echte gebruikersbehoeften.
Desiree van der Horst
Desiree van der Horst (CRO Manager bij Loop Earplugs) deelde hoe ze met structuur en onderzoek grip hield op een lastig ontwerpproces voor de homepage. Bij een complex productaanbod en een voornamelijk mobiel publiek dat vaak éénmalig koopt, is een heldere, overtuigende eerste indruk cruciaal. De uitdaging: hoe ontwerp je een homepage die effectief is voor de gebruiker én past binnen de bredere bedrijfsambities?
Om die vraag te beantwoorden gebruikte Desiree het 6V-model: een raamwerk dat inzichten bundelt vanuit zes perspectieven:
Al deze input werd verzameld in een centrale Figma-file. Op basis daarvan volgden zeventien A/B-testen met verschillende versies van de homepage. Sommige richten zich op het type afbeelding of de tekst boven de vouw, andere op de rol van elementen zoals sliders. De uitkomst was verrassend: een versie mét slider presteerde uiteindelijk het best, mits gecombineerd met duidelijke call-to-actions bovenaan.
Belangrijkste inzichten:
- Combineer data, feedback en context om betere keuzes te maken
- Het 6V-model helpt om uiteenlopende inzichten te structureren
- Niet elk idee waar je zelf in gelooft hoeft te winnen — het draait om wat werkt
- Houd testen en documentatie centraal om patronen en leerpunten te herkennen
- Focus niet alleen op het eindresultaat, maar vooral op wat je leert onderweg
Een inspirerend voorbeeld van hoe onderzoek en experimentatie helpen om keuzes te onderbouwen — zelfs als de uitkomst anders is dan je verwacht.
Vignesh Lokanathan
In zijn talk bracht Vignesh Lokanathan (Experimentation Lead bij de BBC) een krachtige boodschap over toegankelijkheid. Met persoonlijke voorbeelden en praktische inzichten liet hij zien dat veel barrières, zowel fysiek als digitaal, pas zichtbaar worden als je er zelf of via een ander mee te maken krijgt. Hij noemt dit soort obstakels “invisible steps”: drempels die voor sommigen onzichtbaar zijn, maar voor anderen allesbepalend.
Wat hij leerde door zijn zoon
Een ervaring bij een taalschool, waarbij een subtiele drempel de toegang voor zijn zoon in een rolstoel onmogelijk maakte, opende zijn ogen. In eerste instantie leek alles geregeld, tot de realiteit anders bleek. Later, tijdens de lockdown, bood een taalapp juist nieuwe kansen, tot ook daar digitale drempels ontstonden. Zijn zoon moest vanwege zijn motorische beperking zijn knokkels gebruiken om te kunnen navigeren in de app. Wat eerst toegankelijk leek, werd steeds frustrerender. Dit leidde tot een bredere vraag: waarom bestaan zulke barrières nog in de digitale wereld?
Waarom toegankelijkheid belangrijk is voor iedereen
Toegankelijkheid gaat volgens Vignesh niet alleen over mensen met een beperking. Goede toegankelijkheid betekent betere gebruikservaringen voor álle gebruikers: ouderen, mensen met tijdelijke beperkingen, of mensen die zich in een situatie bevinden waarin hun mogelijkheden tijdelijk beperkt zijn. Denk hierbij bijvoorbeeld aan fel zonlicht waardoor contrast belangrijker wordt, een gebroken arm waardoor je met één hand moet navigeren, of een drukke omgeving waar je minder goed kunt horen of focussen.
Kortom: goede digitale toegankelijkheid opent de deur voor miljoenen potentiële klanten.
Drie redenen om ermee aan de slag te gaan:
- Moreel: het is het juiste om te doen
- Wettelijk: met o.a. de Europese Toegankelijkheidswet (EAA): vanaf 28 juni 2025 wordt het een harde eis voor organisaties om toegankelijk te zijn
- Commercieel: het vertegenwoordigt miljarden aan bestedingskracht
Hoe dan? Gebruik het POUR-model:
Een toegankelijke ervaring moet:
- Perceivable zijn (bv. genoeg contrast)
- Operable zijn (bv. grote klikbare vlakken)
- Understandable zijn (bv. eenvoudige taal)
- Robust zijn (bv. goed werkend met screenreaders)
Gebruik de WCAG-richtlijnen als houvast en begin bij je klanten. Begrijp hun obstakels en test of wat je maakt echt voor iedereen werkt.
Belangrijkste inzichten:
- Veel drempels zijn onzichtbaar voor wie er niet direct mee te maken heeft
- Toegankelijkheid is niet optioneel, het is goede UX en verplicht in de toekomst
- Kleine verbeteringen kunnen een enorm verschil maken
- Als digitale professionals hebben we de macht én verantwoordelijkheid om barrières weg te nemen
Vignesh’s kernboodschap: wees niet alleen bewust van toegankelijkheid, maar handel er ook actief naar. Vraag jezelf bij elk product of elke aanpassing af: is er een ‘onzichtbare drempel’ die we kunnen weghalen? Wie sluiten we nu nog per ongeluk buiten? En wat kunnen we daaraan doen?
Annette Rowson
Annette Rowson deelde hoe zij bij Primark een experimentatiecultuur heeft opgebouwd binnen een traditioneel winkelgedreven organisatie. Na de COVID-pandemie startte Primark in 2022 met een digitale transformatie, inclusief een vernieuwde website, stock visibility en Click & Collect. Rowson kreeg de opdracht om een experimentatieprogramma vanaf nul op te zetten, ondanks een cultuur van ‘gewoon doen’ zonder datagedreven onderbouwing of kennis van A/B-testen.
De uitdagingen waren groot: geen geschikte tools, nauwelijks testcapaciteit, weinig ontwikkelaarsondersteuning, en productteams die beslissingen namen op onderbuikgevoel. In 2023 werden tools als Dynamic Yield en Contentsquare geïntroduceerd en CRO-specialisten in squads geplaatst. Daarnaast startte ze met activiteiten om het gedachtegoed te verspreiden, zoals ‘Data Champions’ en de ‘Data & Insight Surgery’. Dit alles leidde tot meer zichtbaarheid en betrokkenheid.
Maar in 2024 ontstonden nieuwe knelpunten: veel tests bleken nietszeggend of slecht onderbouwd. Stakeholders omzeilden het testproces en kwalitatieve en kwantitatieve teams werkten langs elkaar heen. Als oplossing werden analytics en CRO samengevoegd binnen de squads en werden de KPI’s gezamenlijk gedefinieerd. Ook werd een aanvraagformulier voor experimenten geïntroduceerd om focus en prioriteit af te dwingen.
De focus verschoof van snelle successen naar impactvolle experimenten. Cruciaal bleek het opbouwen van vertrouwen: productteams raakten betrokken en leerden iteratief werken, ook bij mislukte tests. Falen werd gevierd als leermoment. Het succes van de Click & Collect-proef onderstreept het potentieel van deze aanpak.
De belangrijkste lessen: wees geduldig, stem gezamenlijke KPI’s af, werk nauw samen met product/UX-teams, begin met quick wins voor draagvlak en omarm mislukkingen als onderdeel van groei.
Nils
Experimenteren met AI: Geen hype, wel een supernova bij Zalando
Nils Stotz van Zalando liet zien hoe AI niet alleen het experimentatieproces kan versnellen, maar het op sommige vlakken fundamenteel kan veranderen. Geen hype, maar gewoon concreet: waar zit nu al waarde, en waar liggen de kansen voor de toekomst?
Nils benoemde enkele voorbeelden waar AI nu al helpt in het experimenteerproces:
- Hypothesevorming: AI kan hypotheses reviewen of zelfs genereren op basis van interne taaldata, zoals Slack-discussies.
- Prioritering: Door terug te kijken naar historische experimenten per KPI of productgebied kan AI helpen om prioriteiten te stellen. Ook het kiezen van de juiste KPI of metric-sensitiviteit is iets waar AI mee kan ondersteunen.
- Inzichten ophalen: AI kan experiment-resultaten samenvatten en bestaande kennis toegankelijk maken. Vooral voor grotere organisaties is dit waardevol: sneller leren van eerdere tests, zonder alles zelf terug te moeten zoeken.
Uitdagingen bij het gebruik van AI
Hoewel veel uitdagingen werden geïdentificeerd met betrekking tot algemene AI-kwesties, zoals kwaliteit, betrouwbaarheid en hallucinaties, uitte Nils ook een specifieke zorg: de overmatige afhankelijkheid van AI.
In een interview benadrukte een machine learning engineer de angst om voldoening te verliezen als AI dagelijkse taken dicteert. Dit roept de vraag op wat de potentiële impact van AI is op de motivatie in hooggekwalificeerde functies zoals productmanagement of engineering.
Voorbij het proces: het echte probleem is vaak… verkeer
Bij veel bedrijven zit de bottleneck niet in het proces, maar in het gebrek aan traffic. En daar wordt AI pas echt interessant. Denk aan “silicon participants” of digitale tweelingen die menselijke traffic kunnen nabootsen.
—
Kleine toevoeging van Ruben: Dergelijke uitspraken hoor ik steeds vaker en ik vind ze behoorlijk optimistisch. Voorlopig sluit ik mij aan bij Els Aerts: syntetische gebruikers kan je gebruiken als toevoeging op je exploratief onderzoek, maar het is geen vervang van je echte gebruikers, en gaat daarmee ook niet de juiste solution voor je vinden.
Slide van Els Aerts tijdens het GMS25 congres.
—
Afsluitende praktische tips
Tot slot deelde Nils nog enkele leuke praktische tips:
- Zorg voor compliance: Als je in een grotere organisatie werkt, is het slim om een veilige AI-sandbox op te zetten om vrij te kunnen experimenteren.
- Deel voortgang actief: Wat werkt, mag je delen. Intern én extern. Denk aan een ‘AI-ochtendbriefing’.
- Organiseer prompt-parties: Ga als team aan de slag met AI rond echte use cases. Welke stappen kosten nu de meeste tijd? Hoe kan AI helpen? PWC doet dit, en Nils raadt aan om het idee gewoon te stelen.
Katie Dove
Katie Dove haar presentatie ging over effectieve personalisatie. Bedrijven maken drie veelvoorkomende fouten die de psychologische waarde van personalisatie ondermijnen: ze laten mensen zich niet gezien voelen, zijn niet transparant of betrekken gebruikers niet en maken het geleverde maatwerk niet zichtbaar. Door inzichten uit gedragswetenschap te gebruiken, kun je personalisatie laten aanvoelen als een oprechte, persoonlijke inspanning. Vergelijkbaar met een doordacht cadeau dat laat zien dat iemand jou kent.
De eerste fout is het gebrek aan herkenning: mensen willen zich ‘gezien’ voelen. Een persoonlijke aanbeveling werkt alleen als deze expliciet verwijst naar eerdere interacties of keuzes (zogeheten “callbacks”). Bijvoorbeeld: Netflix zegt “omdat je Grey’s Anatomy keek”, wat effectiever is dan een anonieme aanbeveling. Zulke callbacks versterken het gevoel van relatie en zelfherkenning.
De tweede fout is ondoorzichtigheid. Als personalisatie op stille dataverzameling is gebaseerd, voelt het ongemakkelijk of zelfs creepy. Een voorbeeld hiervan is hoe Target ooit suggesties voor babyproducten begon te geven op basis van eerder koopgedrag. Dit werd als ‘creepy’ ervaren, omdat Target de gebruiker niet betrok in het proces of liet zien hoe ze de data gebruikte. In plaats van alles frictieloos te willen maken, adviseert Dove juist wel vragen te stellen. Dat vergroot betrokkenheid, verhoogt acceptatie van aanbevelingen en vergroot het gevoel van controle. Gebruikers willen weten wat je weet en waarom.
De derde fout is dat personalisatie vaak niet als zodanig wordt waargenomen. Gebruikers merken het maatwerk simpelweg niet op. Bedrijven moeten het geleverde werk dus expliciet maken. Laat zien welke stappen zijn genomen. Een recent voorbeeld hiervan is hoe GenAI-tools hun denkproces nadrukkelijk benoemen. Dit vergroot het vertrouwen in de uitkomst.
De belangrijkste lessen:
- Gebruik callbacks om gebruikers zich erkend te laten voelen
- Wees transparant over de verzamelde data en betrek gebruikers actief
- Toon de inspanning die in personalisatie is gestoken om de ervaren waarde te verhogen.
Goede personalisatie voelt niet alleen slim aan, maar vooral menselijk.
David
You Are What You Measure: de gevaren van targets en de kracht van fases
David Mannheim zette zijn talk neer met een duidelijke boodschap: organisaties worden gevormd door wat ze meten. En als je verkeerde dingen meet, of ze verkeerd inzet als targets, dan krijg je gedrag dat daar precies op geoptimaliseerd is, maar dat vaak niet in lijn is met je werkelijke doel of de beleving van de gebruiker.
Wanneer organisaties de verkeerde KPI’s kiezen, dan sturen zwe onbedoeld op verkeerde uitkomsten. Denk aan korte termijn-focus, meetwaarden die makkelijk te manipuleren zijn, en het creëren van perverse prikkels.
David haalt o.a. het Cobra-effect aan: in India kreeg men een beloning voor elke gedode cobra. Gevolg? Mensen gingen cobra’s fokken om ze daarna weer in te leveren.
De oplossing: denk in fases, niet in pagina’s
David pleit daarom voor een fundamentele verschuiving binnen CRO. Niet optimaliseren op pagina’s (home, PLP, PDP) of conversiepercentages per pagina, maar op de fase waarin een gebruiker zich bevindt.
En binnen die fases niet alleen kijken naar clicks of scrolls, maar naar het geheel aan gedragssignalen, de digitale “body language” van een gebruiker.
Voorbeeld: een kortingspopup is niet fout, maar alleen relevant als je hem op het juiste moment toont. Bij iemand die serieus aan het overwegen is, niet bij iemand die net binnenkomt.
Praktisch vertaald:
- Combineer korte- en langetermijn-KPI’s.
- Stel je KPIs af op je purpose.
- Optimaliseer niet op pixels of paginastatus, maar op gedrag en fase.
- Streef ernaar om passend te zijn in de gebruikersinteracties en reageer op basis van context en fase in plaats van enkel een generieke “relevante” personalisatie of verstorende tactiek zoals een slecht getimede pop-up.
Quote:
“When a measure becomes a target, it ceases to become a good measure.”
Conclusie: blijf experimenteren, binnen én buiten je product
Experimentation Elite 2025 liet overtuigend zien dat experimenteren veel verder gaat dan het optimaliseren van conversies. Het draait om het bouwen van een cultuur waarin je durft te experimenteren, leert van fouten en de mens achter de data centraal stelt.
Digitale producten zijn verweven met ons dagelijks leven. Succesvol experimenteren vraagt om samenwerking tussen disciplines, van UX en development tot data en strategie, om digitale ervaringen te creëren die intuïtief, toegankelijk en overtuigend zijn. Precies zoals we dat bij Online Dialogue ook met onze klanten doen.
Of je nu experimenteert met AI, werkt aan toegankelijke UX, hypotheses bouwt vanuit NLP of je eigen team meekrijgt in een testmindset: het draait allemaal om luisteren, leren en bijsturen.
Wil je verder bouwen aan je eigen experimenteercultuur? Laat je inspireren door deze praktijkverhalen.
🔍 Meer weten over data-gedreven werken, CRO, AI en toegankelijke UX? Schrijf je in voor onze nieuwsbrief of volg Online Dialogue op LinkedIn.
