Afgelopen donderdag vond de 47e editie van Dialogue Donderdag (DiDo) plaats. DiDo is hét kennisevenement voor professionals in conversieoptimalisatie, productontwikkeling en datagedreven werken. Deze editie draaide om effectieve samenwerking met productteams. In dit artikel lees je de belangrijkste takeaways uit de presentaties van experts van Booking.com, VodafoneZiggo en Online Dialogue.

Talk 1: Building an experiment-driven game plan for your product – Dennis Nederlof (Online Dialogue)

Dennis Nederlof, conversiemanager bij Online Dialogue, trapte de middag af met een praktisch talk over hoe je als productteam een gestructureerd experimenteer framework kan hanteren. Hij trok een parallel tussen rugby en productontwikkeling: net zoals een scrum-half in rugby het team aanstuurt en de strategie bewaakt, speelt een product owner een cruciale rol in het verbinden van ontwikkeling en business.

Het Opportunity Solution Tree (OST) framework

Een goed experimenteerproces begint met een heldere hypothese en een gestructureerd framework. Dennis vertelde in zijn presentatie over de Opportunity Solution Tree (OST), ontwikkeld door Teresa Torres. Dit model helpt teams om hun roadmap te baseren op gebruikersinzichten en experimenten in plaats van aannames.

Dit framework bestaat uit drie kerncomponenten:

• Outcome: Wat is het gewenste businessdoel of KPI?
• Opportunities: Welke klantbehoeften of fricties moeten worden opgelost?
• Solutions: Welke hypothese-gedreven oplossingen kunnen deze problemen aanpakken?

Van output naar outcome: de juiste focus door experimenteren

Veel product owners worden nog steeds beoordeeld op output (features shippen) in plaats van outcome (impact op KPI’s). Maar een lijst met opgeleverde features zegt niets over de daadwerkelijke impact op conversie en klantwaarde.

Volgens Dennis zijn er drie belangrijke aandachtspunten:

• Stakeholder buy-in. Door een sterke experimenteerstrategie en duidelijke KPI’s wordt interne weerstand verminderd.
• Gebruik data bij prioritering. 21% van de product owners spreekt zelden met gebruikers. Door zowel kwalitatieve als kwantitatieve data te gebruiken, kun je gerichter optimaliseren.
• Iteratief werken versnelt het leerproces. Met Minimum Viable Tests (MVTs) kun je sneller valideren en risico’s minimaliseren.

Kernboodschap: Wil je succesvol zijn in productontwikkeling? Focus op validatie, niet op aannames.

Talk 2: How to leverage the power of developers to supercharge your CRO program – Maite Bemelman (VodafoneZiggo)

Maite Bemelman, CRO-specialist en analist bij VodafoneZiggo, besprak hoe developers je strategische partners in CRO kunnen worden. Veel CRO-teams denken vooral in conversiepercentages, terwijl developers waarde hechten aan kwaliteit van code, performance en schaalbaarheid. Ze vertelde hoe je een brug slaat tussen deze uiteenlopende prioriteiten. 

Hoe je experimenten relevant maakt voor developers

Door experimenten te koppelen aan technische prioriteiten kunnen teams de samenwerking versterken. Maite gaf het voorbeeld van een backend-developer die klaagde over een omslachtige, handmatig onderhouden notificatie in een dashboard. Vanuit UX-perspectief was de melding ook overbodig en conversieverlagend.

In plaats van direct in te grijpen, werd een A/B-test met guardrailmetrics opgezet om de impact te meten. Op deze manier konden de verschillende disciplines interne stakeholders overtuigen van de aanpassing. 

En de resultaten:

• Hogere CTR, zonder negatieve impact op conversies.
• Verbeterde site speed, wat zowel UX als SEO ten goede kwam.
• Meer developers vertrouwen in CRO-testen door een gezamenlijke aanpak.

Developers als bondgenoten in experimenteren

Maite benadrukte dat developers niet alleen uitvoerders van experimenten zijn, maar juist een actieve rol kunnen spelen in een experimenteercultuur. Een goed voorbeeld hiervan is het redesign van de Ziggo Dashboard Widgets.

In dit geval was de product owner terughoudend om wijzigingen door te voeren, terwijl developers technische inefficiënties signaleerden. Door een experiment-driven aanpak werd de product owner overtuigd van de meerwaarde.

Het resultaat: een verbeterde UX, een stijging van 10% in gemiddelde orderwaarde en minder interne zoekopdrachten.

Kernboodschap: Developers kunnen je grootste bondgenoten worden als je experimenten koppelt aan hun prioriteiten: schaalbaarheid, performance en kwaliteit van code.

Talk 3: 20 jaar experimenteren bij Booking.com – Jorden Lentze (Booking)

Jorden Lentze gaf een inkijkje in 20 jaar experimenteren bij Booking.com. Wat begon als een middel om stakeholderverwachtingen te managen, groeide uit tot een kernstrategie voor productontwikkeling, CRO en innovatie.

De evolutie van experimentatie bij Booking.com

• Meer dan 1.000 experimenten draaien tegelijkertijd.
• 2.200 medewerkers starten wekelijks experimenten, 750 dagelijks.
• Het duurde 2,5 jaar en 114 mislukte tests voordat het eerste succesvolle experiment live ging.

De negen principes van een experimentatiecultuur

Booking.com hanteert negen kernprincipes om experimenteren succesvol te maken:

1. Fouten maken mag, zolang je ervan leert.
2. Geen HiPPO’s: beslissingen worden op data gebaseerd, niet op meningen.
3. 100% transparantie in experimentdata.
4. Iedereen kan experimenten uitvoeren, niet alleen analisten.
5. Experimenteren is sociaal: teams kunnen experimenten volgen, liken en becommentariëren.
6. Leer snel, en ga er niet van uit dat resultaten reproduceerbaar zijn.
7. Test alles, van kleine UI-wijzigingen tot interne processen.
8. Kleine, autonome teams werken efficiënter en sneller.
9. Geef teams de vrijheid om zelf beslissingen te nemen.

Betere metingen, betere experimenten

Booking.com verbeterde hun metrics door ruis te verminderen en betrouwbaarheid te vergroten:

• 15% minder meetruis, waardoor experimenten 50% sneller konden worden afgerond.
• Predicted Net Customers metric verlaagde vals positieven met 6% en vals negatieven met 8%.

Kleine wijzigingen, grote impact

Soms hebben kleine wijzigingen grote gevolgen. Een UI-test waarbij slechts een icoon werd aangepast, veroorzaakte een omzetverlies, groot genoeg om een team een jaar lang te financieren. Dit onderstreept het belang van zorgvuldig testen en valideren.

Kerninzichten uit de talk van Jorden:

• Een succesvol experimenteerprogramma vereist innovatie op meerdere fronten: tooling, methodiek, cultuur en besluitvorming.
• Decentrale besluitvorming versnelt ontwikkeling en verhoogt de snelheid en kwaliteit van experimentatie.
• Beter meten leidt tot betere beslissingen: continue verbetering van meetmethoden verhoogt de betrouwbaarheid van experimentresultaten.

Conclusie: valideren werkt innovatie in de hand

De sprekers op DiDo #47 lieten zien dat een sterke experimenteercultuur leidt tot betere producten, betere beslissingen en een snellere innovatiecyclus.

De volgende editie van DiDo vindt plaats op 12 juni 2025.