Met coaching, playbooks en tooling bouwde DPG samen met Online Dialogue een stevig experimenteer fundament.
Experimenteren is nu zó ingebed dat vrijwel niets meer live gaat zonder gevalideerde onderbouwing.
Het succes begon met één enthousiasteling en groeide uit tot een organisatiebrede beweging.
DPG media is het grootste mediabedrijf van Nederland. Via radio, televisie, kranten, magazines, sites, apps en podcasts brengen zij nieuws en entertainment naar buiten. Een dynamisch werkveld, maar hoe zit het met de experimenteercultuur bij een van de grootste uitgeverijen van de BeNeLux? We vragen het aan Joshua Kreuger. Joshua is verantwoordelijk voor het experimenteer programma van de abonnementenafdeling van DPG Media. Met een team van 8 specialisten richt hij zich op het opzetten en verbeteren van de validatiegedreven werkwijze. Dit jaar is zijn team o.a. genomineerd voor de Experimentation Culture Awards en samen met Online Dialogue als Best Agency team bij Experimentation Elite en dat is niet voor niets. In dit interview bespreken we het ideale recept voor een succesvol experimenteerprogramma.
Joshua Kreuger over een succesvol experimenteerprogramma bij DPG Media
Volgens Joshua is CRO het leukste vakgebied dat er bestaat. ‘CRO combineert data, psychologie en sales. En je kunt je creativiteit kwijt in het doen van onderzoek of het bedenken van bijzondere oplossingen. De energieboosts van de ‘aha’ momenten zijn enorm verslavend. Het eureka! gevoel wanneer een hypothese bevestigd wordt – of juist tegenovergestelde blijkt te zijn van wat je had verwacht – is aanstekelijk. Het zorgt ervoor dat collega’s uit andere disciplines met data willen werken.’
DPG Media is een groeiende organisatie en is alom vertegenwoordigd in het leven van de meeste inwoners Nederland en België. Zij het door nieuwstitels of producten zoals Independer, een vergelijkingssite voor financiële producten, gezondheidsinstellingen en energieleveranciers. ‘Met name in de publishing-tak is digitalisering en het creëren en vangen van digitale waarde een gave, maar ook een grote uitdaging. Juist door validatie en experimenteren kunnen we de richting bepalen waarin we moeten innoveren en optimaliseren. En dat collega’s ontvankelijk zijn voor experimenteren is niet zo gek. Het willen weten hoe iets echt zit, is het DNA van journalistiek. En dat zie je dan ook terug in de andere gelederen van het bedrijf.’
De afgelopen jaren werkt Online Dialogue samen met DPG Media aan het opzetten van een centre of excellence voor een succesvol experimenteerprogramma. Uit onze maturity scan blijkt dat de organisatie zich in 2021 in de structure up fase bevindt. Dit is de fase waarin er o.a. een team data driven experimenten uitvoert en er een vastomlijnd proces is vastgesteld. Inmiddels groeit zij hard naar de Maximum Growth Efficiency fase en daar werken we hard aan mee. Om in deze fase te komen, groeit het team op verschillende vlakken. In onderstaande afbeelding zie je welke factoren meespelen in de groei. Online Dialogue ondersteunt de CRO-specialisten van DPG Media door middel van coaching, training en het ontwikkelen van slimme tools en playbooks.
Maturity Model van Online Dialogue
Joshua zegt hierover: ‘Een multidisciplinair team is natuurlijk essentieel voor een sterk programma. CRO is een super veelzijdig vak. Voor een succesvol experimenteerprogramma is het nodig om de juiste expertises aan tafel hebben. Webanalyse, psychologie, UX-design en ook copy zijn wat mij betreft onmisbaar als je het groter wil aanpakken. Omdat we zelf die kennis misten, zochten we de samenwerking met bureaus. We werken al een paar jaar met Online Dialogue en dat heeft ons geen windeieren gelegd. Zij zijn erg sterk in data (science) en psychologie en wij hadden behoefte aan een duidelijke visie en werkwijze om de organisatie mee te krijgen.
Ervaring leert dat een goed CRO-programma begint bij iemand die gepassioneerd is over CRO of validatiegedreven werken. Een ambassadeur die de data induikt, mensen mee weet te nemen in de problemen van de klant en durft te twijfelen aan de huidige gang van zaken.Wat betreft de middelen zie je in programma’s toch vaak focus ontstaan rondom een paar tools of databronnen en wordt er zodanig geïnvesteerd. Ik denk dat de keuze onder andere afhankelijk is van de ontwikkelmodus van je programma of organisatie. Wil je sneller innoveren, dan zul je waarschijnlijk vaker prototyping en UX-onderzoeken doen. Zit je meer op echte optimalisaties dan blijf je waarschijnlijk dichter bij webanalyse en andere kwantitatieve tools.’
Tijdens de samenwerking met Online Dialogue is de werkwijze en visie voor een succesvol experimenteerprogramma geformuleerd en uitgedragen. Hoe ga je dan naar de volgende stap en creëer je een validatiecultuur? ‘DPG heeft valideren al meer dan omarmd. Ik zie vaak collega’s buiten ons team met experimentvoorstellen komen of opzetten, wat mij zegt dat de waarde ervan wordt ingezien. Validatiecultuur vind ik een lastig begrip – de meningen zijn ook aardig over verdeeld wat het behelst – maar ik zie bijvoorbeeld dat we nog zelden zaken live zetten zonder validatie en dat daar ook een sociale controle op is door collega’s. Dat is al heel wat als je het mij vraagt!’
‘We willen collega’s en management deelgenoot maken van het validatieproces op een manier die aansluit bij hun doelstellingen. Daarbij hebben we ons vooral gericht op mensen die ontvankelijk waren voor experimentation en niet te veel tijd besteed aan collega’s die minder enthousiast waren. Ik had daarbij geluk te werken in een vrij platte organisatie, een directeur die experimenten interessant vond en dat ik in Niels Rewinkel een eerste teamgenoot had waarmee ik erg complementair was qua karakter en vaardigheden.’ [Niels Rewinkel was programmamanager Experimentation bij DPG Media, sinds 2022 werkzaam als DPG Businessmanager SHOPS en Marketing Posities, red.]
‘Daarnaast is mijn doel altijd geweest om onze experimenten en programma’s te vatten in business-waarde, vooral via business cases. Je hebt een budget te verantwoorden, dan moet daar ook waarde uit worden gehaald – of op zijn minst worden verteld hoeveel er is bespaard door slechte keuzes niet te maken. Anders gaan die euro’s de volgende keer naar een campagne waarvan de ROI wel meteen duidelijk is.’
De groei naar validatiecultuur ging niet zonder slag of stoot. Want een cultuurverandering is soms heel ongrijpbaar. De grootste uitdaging is wel geweest om collega’s mee te krijgen en tegelijkertijd focus te houden op waarom je het eigenlijk doet: een duurzame validatiegedreven werkwijze neerzetten. ‘Het is lastig uit te leggen waarom je zoveel zaken wil valideren. “Dit is testen om het testen” heb ik weleens als verwijt gekregen. Dat kun je alleen maar jezelf aanrekenen – want dan heb je wat mij betreft geen goed verhaal overgebracht waarom valideren vrijwel altijd de betere optie is. Daarin is ondersteuning vanuit Online Dialogue waardevol geweest, in de vorm van workshops en dagelijkse ondersteuning waarmee het verhaal van validatie ineens verschillende gezichten kreeg. Ook moet je jezelf een spiegel voorleggen. In het begin liep ik vast in m’n eigen tunnelvisie en ‘t idee dat iedereen belangrijk vindt wat wij als CRO-specialist belangrijk vinden. Ik begrijp inmiddels dat er voor veel collega’s meer is dat ze willen halen uit hun werk dan alleen uplift of een mooie business case. Ik heb me beter leren verplaatsen in anderen om te bepalen wat zij uit experimentation kunnen halen en ik geloof dat we daar best goed op weg zijn.’
Voor een succesvol experimenteerprogramma is cultuur heel belangrijk. ‘Volgens mij draait alles om het relevant maken van valideren voor anderen en het inzichtelijk maken wat nu echt de problemen zijn waar de klant tegenaan loopt. Dat is denk ik heel situationeel, maar bij ons hebben we een paar kantelpunten gehad waarvan kansgedreven experimenteren wel een hele effectieve is gebleken voor zowel acceptatie als resultaat. Dit deelde ik onlangs nog bij Emerce Conversion & Analytics 2023. Met name over de hoe scope waarop je experimenteert en de afdeling betrekt bij experimentation, een groot verschil kan maken of collega’s aanhaken of afknappen. Verder is proactiviteit ook belangrijk. Lever eens (ongevraagd) onderbouwde input voor een belangrijk onderwerp op de afdeling en je wordt ineens ook relevant voor een andere groep mensen die misschien nog niet zoveel met validatie of experimenteren had. Bij ons komt legal nu zelfs weleens met vragen naar experiment resultaten. Dat is gaaf toch?’
CRO is meer dan een marketingdiscipline. Om te benadrukken dat CRO een werkwijze en een mindset is, spreekt Joshua liever over Experimentation.
‘Ik zie dat validatiegedreven werken steeds meer geaccepteerd wordt als de way of working in organisaties. Tegelijkertijd zie ik ook dat de drang om output te leveren vaak op gespannen voet staat met het valideren van die output. Statistiek, experiment design, experiment-criteria enzovoorts zijn verder geen vanzelfsprekende zaken. Ik denk daarom dat we in de komende jaren nog steeds ambassadeurs nodig zullen hebben om de validatiegedreven werkwijze te bewaken.Nu digitale waarde nog hoger op de agenda staat, verwacht ik dat dit hét moment is om de meerwaarde van experimentation echt te laten gelden. We gaan nu paden in die misschien wel niemand in de publishing wereld eerder heeft bewandeld. Om dan een feedbackloop van inzicht en resultaat op te zetten kan dan enorm impactvol zijn voor onze koers en succes. De specialisten in de verschillende takken van DPG zoeken elkaar ook steeds meer op. Uitwisseling over proces, tooling en resultaat – allemaal groene vlaggen die mij laten zien dat het een mooie toekomst heeft binnen het bedrijf. We blijven doorbouwen richting die organisatiebrede validatiecultuur.’
In dat proces is de rol van Joshua veranderd. In zijn rol als manager experimentation heeft hij een meer faciliterende rol. Daarnaast is hij de lead van het Centre of Excellence. Hoe bevalt dat? ‘Ik zit meer op het proces en tooling met als doel de specialisten zoveel mogelijk tijd te laten besteden aan innovatie en optimalisatie in plaats van de randzaken. Ook word ik veel betrokken bij nieuwe projecten rondom personalisatie en nieuwe productvormen. De bult kennis die we hebben opgebouwd en gedocumenteerd in Airtable komt daarbij goed van pas. De afgelopen vijf jaar zijn voorbij gevlogen maar het voelt alsof we net warm zijn gedraaid!’
We kijken uit naar de awardshow van Experimentation Elite op 28 juni in Londen en hopen de felbegeerde Best Agency team award mee naar huis te mogen nemen. We bedanken DPG Media voor de jarenlange samenwerking en kijken uit naar de toekomst van experimenteren binnen deze organisatie. We zijn trots op alles wat we al samen bereikt hebben. Mocht je enthousiast geworden zijn door het verhaal van Joshua, zijn team is hard op zoek naar nieuwe collega’s. En wil je meer weten over onze samenwerking en benieuwd zijn naar wat we voor jou kunnen betekenen, neem gerust contact op. Benieuwd welke trainingen we gegeven hebben bij DPG? Op onze Academy vind je een mooi aanbod van relevante trainingen en opleidingen die we ook inhouse aanbieden.
NL
