KPN Casestudy: Twee jaar A/B testen bij KPN

ab testen kpn

In maart 2018 begon ik als UX designer op één van Online Dialogue’s grootste projecten. KPN wilde graag hulp bij het datagedreven optimaliseren van hun webshop omgeving. Hierbij zouden we niet één, niet twee, maar vier A/B-testen per week opstarten. Samen met een multidisciplinair team van Online Dialogue met analisten, psychologen, UX designers en een strateeg gingen we een half jaar lang vier A/B-testen per week doen. 

Dit was de start van een langdurige en waardevolle samenwerking, met mooie resultaten en vele learnings tot gevolg. Graag deel ik de procesontwikkelingen die wij samen met KPN de afgelopen twee jaar heb meegemaakt en hoe deze bijdragen aan de huidige samenwerking. 

Van A/B-testfabriek naar klantsamenwerking

Voor het eerste traject bij KPN werd Online Dialogue ingezet als ‘A/B-testfabriek’. Dit hield in dat we als volledig team werden ingehuurd om alle A/B-testen voor KPN uit te voeren. Door vier A/B-testen per week uit te voeren zouden we in korte tijd veel leren over het online gedrag van KPN gebruikers en het conversiepercentage verhogen. En met succes: met het eerste A/B-testtraject boekten we mooie resultaten. KPN was enthousiast over wat we neer hadden gezet.

Na deze eerste succesvolle maanden werd de focus van ‘fabriek’ naar ‘samenwerken’ verlegd. Vanaf dat moment werden overdrachten geïnitieerd, waarbij steeds meer rollen vanuit KPN werden aangehaakt. Zo werden de experimenten bijvoorbeeld vanaf begin 2019 door interne developers opgepakt. Daarnaast werden er ook analisten opgeleid om het gehele proces over te nemen. Beide met succes! De fabriek van zeven man werd omgebouwd naar een 50/50 samenwerkingsproces. In de periode daarna is ook de rol van UX naar KPN overgedragen waardoor het CRO team nu grotendeels uit interne mensen van KPN bestaat. Dit was en is ook een van de doelstellingen: organisaties helpen met het opzetten van een CRO-cultuur.

Online Dialogue is daarnaast nog steeds aangehaakt als center of excellence. Dit betekent dat wij zowel verschillende disciplines als verschillende afdelingen binnen KPN ondersteunen. Met als doel om binnen KPN overal dezelfde werkwijze te hanteren. Alle kennis die we de afgelopen twee jaar hebben opgedaan is samengevat en gebundeld in het CRO-handboek. Op deze manier wordt de kennis gewaarborgd en worden nieuwe KPN werknemers in het CRO-team opgeleid.

Van weerstand naar enthousiasme

De A/B-testfabriek had vele voordelen, maar ook enkele nadelen. Als team waren we geheel op elkaar afgestemd, wat resulteerde in het succesvol opzetten van vele experimenten. Echter, doordat we met een grote groep op de afdeling aanwezig waren, werd dit ervaren als een soort ‘invasie’. Dit leidde, logischerwijs, tot enige weerstand in het begin. 

Toen de waarde van de A/B-testen en de bijbehorende gedragsinzichten na het eerste traject bevestigd werden, ging de knop om. Meerdere mensen vanuit KPN werden aangehaakt en de afdeling werd vanaf dat moment actief op de hoogte gesteld van het proces. Wekelijkse overzicht mails, open chairs bij vergaderingen en maandelijkse lunch- & learn sessies resulteren nu in steeds meer enthousiasme voor experimenteren bij het KPN team. Iedereen van de afdeling heeft de mogelijkheid om eigen ideeën op te sturen, welke vervolgens binnen het CRO-team geprioriteerd worden. Tegenwoordig is het aantal personen die aanwezig wil zijn bij de wekelijkse CRO-meeting zo groot, dat hier meerdere teams van gemaakt zijn. 

Van development extern naar development intern

Een van de grootste veranderingen op het gebied van A/B-testen was de overgang in development. In 2018 zat development nog extern en verliep alle communicatie via Online Dialogue. De uitzonderingen op de website waren niet bij alle developers even goed bekend, wat voor uitgebreide checks zorgde voor livegang van het experiment. Daarnaast kostte de communicatie onderling extra tijd. Vanaf januari 2019 kwam hier verandering in. Met de komst van intern gevestigde developers werden alle codes voor A/B-testen intern gebouwd. Doordat het development-team gedurende de hele week aanwezig was bij KPN, konden experimenten snel afgestemd worden en live gaan. Zeker in periodes waar meerdere A/B-testen in korte tijd live gingen, was dit een fijne uitkomst. Development is een essentieel onderdeel van het A/B-testproces en kan voor veel snelheid in het proces zorgen als het goed geregeld is en de juiste hoeveelheid tijd is gereserveerd.

Van oude naar nieuwe website

We maken het vaak mee bij klanten: redesigns. Om de zoveel tijd is er de wens om de website een nieuw jasje te geven. Zo ook bij KPN. Er werd een nieuwe propositie geïntroduceerd, waar een andere look bij hoorde. Eerdere experimenten fungeerden grotendeels als input voor dit redesign, maar er waren ook nieuwe onderdelen bijgekomen die nog niet eerder gevalideerd waren. Dit gaf reden om nieuwe data te verzamelen van de website en hiermee nieuwe experimenten op te zetten. 

Kun je de ‘eerdere’ inzichten hier nog bij gebruiken? Voor een deel kan dit zeker. Doordat het optimalisatieprogramma is opgezet in hoofd- en subhypotheses hebben we niet alleen learnings per test maar ook op meta-niveau. Deze learnings komen uit meerdere experimenten voort en staan daardoor los van designprincipes en kunnen daarom ook worden toegepast op het nieuwe design. 

Conclusie

De experimenteer trein waar we twee jaar geleden mee van start gingen heeft zich nu binnen KPN ontwikkeld tot een geoliede machine. We zien steeds meer enthousiasme vanuit de online afdeling voor data en psychologie gedreven optimalisatie. Met als belangrijkste prestatie dat experimenteren een vast onderdeel wordt van de digitale afdeling en er uiteindelijk een steeds groter deel van de werkzaamheden gevalideerd wordt.

Meer weten over onze kennis en ervaring met het opzetten van een evidence-based optimalisatie programma voor jouw organisatie? Wij helpen je graag verder!

online team

Geschreven door Susanne Ottenheym, user experience expert bij Online Dialogue

contact

CONTACT

Kunnen wij je ergens mee helpen?

Vul onderstaand formulier in en we nemen zo snel mogelijk contact op of bel ons (030 4100 170).