14 februari organiseerde Online Dialogue alweer de 29e Dialogue Donderdag, die dit keer in het teken stond van experiment gedreven cultuur. Veel bedrijven die succesvol zijn op het gebied van CRO zijn in de meeste gevallen opgebouwd met een experimentatie en validatie cultuur als basis. Voor bestaande (en meer traditionele) organisaties blijkt deze stap vaak een stuk moeilijker, maar onontkoombaar wil je als organisatie flexibel, snel en zonder al te veel risico meegroeien met de markt.
CRO speeddating op Valentijnsdag
Geheel in het thema van Valentijnsdag, startten we de 29e Dialogue Donderdag (DiDo) met CRO speeddaten. Om de eerste dates niet té spannend te maken hadden we iedereen voorzien van een praatkaart. Aan de hand van deze praatkaart konden de bezoekers al hun ervaringen, tips en valkuilen een op een delen over het opzetten van een experiment gedreven cultuur.
Verwelkom de Experiment Gedreven Cultuur
Bij Online Dialogue merken we dat de cultuur binnen een organisatie de kwantiteit en kwaliteit van het testprogramma bepaalt. Bij een goed testprogramma gaat het niet alleen om een paar A/B testen doen, maar echt een cultuur creëren waarin ieder idee gevalideerd wordt. Vandaar ook onze missie: ‘Validation in Every Organization’.
Bij de testen die we doen is gemiddeld 25% een winnaar. Dit betekent dat 1 op de 4 ideeën een goed idee is. De andere 3 hebben geen effect, of zelfs een negatief effect. Je wilt dan ook op ieder moment en voor alle aspecten van de organisatie zo snel mogelijk te weten komen welke ideeën succesvol zijn om maximaal te kunnen groeien.
Tijdens de 29ste DiDo hebben wij daarom aandacht besteed aan het opzetten van een experiment gedreven werkcultuur. Daarbij hebben we de volgende vragen beantwoord: Hoe doe je dit? Wat of wie heb je ervoor nodig? Wat zijn ervaringen van andere organisaties? Waar loop je tegenaan? En hoe houd je de cultuur in stand?
Kevin Anderson: Op weg naar continu experimenteren bij ING
Kevin Anderson is chapter lead data analytics bij ING en heeft meer dan 10 jaar ervaring met analytics en A/B testen. Hij werkte al bij bij ING in de tijd van de overname van de Postbank en is in die periode voor het eerst in aanraking gekomen met experimenteren. In de afgelopen 10 jaar is bij ING de ‘experimenteer cultuur’ steeds meer gaan leven, waarbij ze vooral de laatste jaren grote stappen hebben gezet.
Kevin nam ons mee op deze reis en vertelde waar ING nu staat en wat wel en niet heeft gewerkt. Continu experimenteren doe je volgens Kevin niet met een centraal team, maar binnen de hele organisatie. “Je weet nooit of iets wel of niet goed werkt, dus je wilt eigenlijk altijd alles A/B-testen”.
Bij ING proberen ze veel te leren van andere bedrijven, ook buiten de financiële wereld. Hun omgeving is onzeker vanwege snel veranderende wet- en regelgeving en vernieuwende fintech bedrijven. Experimenteren zorgt er bij ING voor dat ze als organisatie de juiste keuzes maken.
Gedecentraliseerde teams
Alle teams binnen ING moeten de testcultuur omarmen en leren omgaan met het maken van fouten. Kevin zegt hierover: “Weten wat niet werkt, is net zoveel waard als weten wat wel werkt.” De verschillende teams testen hun eigen hypotheses, zijn verantwoordelijk voor continu experimenteren en mogen hun eigen beslissingen maken. Van bovenaf wordt voor capaciteit en sturing gezorgd. Super goed, maar dat betekent ook dat ieder team moet hier wel klaar voor zijn. Er is geen centraal CRO team meer die zorgt voor sturing, begeleiding en kwaliteit.
Eigen experiment API
Om zelf testen toegankelijk te maken voor verschillende teams, heeft ING een eigen ‘Experiment API’ opgezet. Deze is beschikbaar voor ieder team binnen de organisatie. Door de API kunnen zelfs teams zonder development capaciteit A/B testen live zetten. Maar ondanks dat deze tool al drie jaar bestaat, bleef het gebruik lang achter. Zo bleek onder andere dat niet iedereen de juiste kennis in huis had en de prioriteit vaak lag bij het behalen van de KPI’s en niet bij experimenteren. Dit komt volgens Kevin voornamelijk doordat men valideren niet altijd even leuk vindt, de techniek en ervaring belemmeringen opleveren en niet alle mensen de waarde er van inzien.
Om te valideren zet ING niet alleen A/B testen in. Zo maken ze ook gebruik van pilots, klantfeedback en user tests. Wel geeft Kevin aan dat validatie doormiddel van A/B testen de voorkeur heeft. “Deze staan boven aan in de hierarchy of evidence“.
Maar na vele bijeenkomsten om mensen op te leiden en te enthousiasmeren, lijkt de visie van een experiment gedreven cultuur binnen ING realiteit te worden. Naast bijeenkomsten, delen de teams wekelijks A/B testen en kennis over experimenteren met de organisatie. Kevin gebruikt het model van Aleksander Fabijan om te laten zien welke stappen ING nog moeten maken in het opzetten van een experiment gedreven cultuur:
- ‘Golden rules’ ontwikkelen voor senior managers
- Pilots met data driven werken (training UX)
- Experimenteer platform verder uitbreiden & versimpelen
- Opzet van technisch experimenteer team (DevOps, DA, DS)
Als afsluiting deelde Kevin zijn tips om deze cultuur ook binnen jouw organisatie aan te wakkeren:
- Creëer urgentie en noodzaak
- Maak impact binnen belangrijke projecten
- Maak het zo makkelijk mogelijk
- Leid je collega’s op
- Deel resultaten
- Help bij de opstart
Ruben de Boer: Een formule voor een experiment gedreven cultuur
Met een grote passie voor menselijk gedrag en onderzoek is Ruben dagelijks bezig met conversie optimalisatie. Naast Manager Conversie Optimalisatie & Usability bij Sanoma, is hij druk bezig met het ontwikkelen van online cursussen en is hij in de afsluitende fase van zijn boek over psychologie en conversie optimalisatie.
Het eerste succes
Ruben geeft aan dat een experiment gedreven cultuur begint met het eerste succes; het bewijs dat experimenteren bijdraagt aan de ontwikkeling van een organisatie. Zonder het eerste succes blijft het bij slechts enkele testjes per maand of zelfs per jaar. Maar hoe komt het eerste succes tot stand? In zijn presentatie deelde Ruben hoe het ooit begonnen is bij Sanoma, hoe je de bal aan het rollen krijgt, en hoe de huidige situatie eruit ziet.
Een formule voor een experiment gedreven cultuur
Sanoma heeft een maandelijks bereik van 80 procent van de Nederlandse samenleving. Ruben geeft aan dat een succesvol experimenteer programma samenhangt met de frequentie waarmee getest wordt. Zijn formule hiervoor is: Succes = kans * frequentie.
Frequentie is erg belangrijk, maar hiervoor is wel de juiste mindset nodig. Niet alles hoeft perfect te zijn bij het experimenteren, je moet vooral gewoon beginnen met testen. Vanuit daar ga je na wat de bottlenecks zijn binnen de teams en organisatie en ga je deze oplossen.
Vaak steken teams te veel tijd in de implementatie en voorbereiding van de tests, dit terwijl je volgens Ruben beter op frequentie kunt focussen. Om dit te voorkomen moet je jezelf volgens Ruben de volgende vragen stellen:
- Moet de test mooie code bevatten of gewoon werken?
- Moet het design “pixel perfect” zijn?
- Hoeveel tijd moet je in het analyseren van afgeronde testen steken?
- Moet je uren in de data duiken, of heb je na 2 uur de belangrijkste inzichten?
Daarnaast gaf Ruben nog aan dat om een experiment gedreven cultuur te laten slagen medewerkers moeten snappen dat falen mag en hoort bij experimenteren.
Uitdagingen bij Sanoma
Volgens Ruben heeft Sanoma vijf uitdagingen bij het opzetten van een experiment gedreven cultuur.
- Training/opleiding
- Bewijs van ROI
- Tijds- en budgetbeperkingen
- CRO opzetten in de organisatie
- Management aan boord krijgen
Het team
Sanoma heeft een centraal CRO-team met 20 experts. Daarnaast zijn deze experts ook werkzaam binnen de verschillende teams van Sanoma. Op dit moment testen ze nog niet op alle merken van Sanoma, maar ze zijn wel bezig ook hen vast enthousiast te maken en te informeren. Het aantal merken en teams waarin getest wordt is groeiende.
Ruben geeft het belang aan van veel delen binnen de organisatie om mensen enthousiast en geïnteresseerd krijgen in experimenteren. Dit doen ze bij Sanoma onder andere door mailings met welke experimenteren live staan. Daarnaast organiseren ze meetings en presentaties, met als gevolg dat er steeds meer input en enthousiasme komt vanuit collega’s. Om ook stakeholders mee te krijgen raadt Ruben het aan om een eigen UX lab op te zetten, waar je ze kunt uitnodigen om mee te kijken met met usability testen.
Wil je meer weten over de 29e Dialogue Donderdag? Bekijk bovenstaande compilatievideo voor een overzicht van de middag. Meld je aan voor onze nieuwsbrief als je op de hoogte wil blijven van al onze events!
