De 9e editie van Women in Analytics: het uitrollen van een analyticsplatform

Hoe implementeer en gebruik je een analyticsplatform en hoe zorg je ervoor dat het schaalt? Die vragen stond op 9 maart centraal bij de Women in Analytics-meetup in Amsterdam. Met Alouette Edens van Schiphol, Roos van Duren van Eneco, en Melody Barlage van Adyen was er een sterke line-up, die de bezoekers door alle fases van het uitrollen van een analytics platform heen leidde. 

Het valideren van tracking data van meerdere apps

Alouette Edens, Freelance Digital Business Analyst bij Schiphol, beet het spits af met een antwoord op de de vraag hoe je ervoor kunt zorgen dat trackingdata van apps betrouwbaar is. Dit is natuurlijk altijd relevant, maar al helemaal als je een app hebt op meerdere besturingssystemen en gebruikers meerdere versies kunnen draaien. Hoe waarborg je dan dat alles op een consistente manier gemeten wordt, en je de data op een makkelijke manier kunt ophalen? Hoe zorg je ervoor dat je een weerwoord hebt als een Product Owner twijfelt aan wat de data laat zien? Daarvoor presenteerde Alouette drie oplossingen. 

1. Debuggen op staging

De eerste oplossing is het debuggen van de apps op staging voordat ze live gaan. Alouette gaf zelf ook al aan dat dat nogal voor de hand ligt, maar het kan toch verleidelijk zijn om deze stap over te slaan. Voor livegang alle events en parameters nakijken kan bijvoorbeeld in de realtime snapshots in Google Analytics 4 (GA4). Het nadeel daarvan is echter dat data maar voor een beperkte tijd zichtbaar blijft, en de interface niet erg gebruiksvriendelijk is. Er zijn veel kliks nodig om de alle data te zien. Daarom raadt Alouette iOS/Android Debugger van David Vallejo aan. Daaraan kun je gemakkelijk een telefoon aansluiten, waarna je een stuk makkelijker kunt debuggen. Op die manier vang je voor livegang missende tracking, typos in eventnames en andere fouten af.

2. Verschillen detecteren op productie

Voor tracking foutjes die toch door deze check heen glippen, heeft Alouette ook een oplossing: een dashboard dat inconsistenties tussen verschillende appversies toont. Schiphol bouwde een Looker-dashboard met daarin alle events en parameters die binnenkwamen in GA4. Het uitgangspunt voor de iOS- en Android-app was dat ze allebei dezelfde events en dezelfde parameters in de tracking moeten hebben. Dus als het dashboard voor een bepaald event alleen data heeft voor iOS of alleen voor Android, dan gaat er iets verkeerd in de tracking. De tracking kan helemaal missen, maar het kan ook een typo zijn. Alouette liet bijvoorbeeld een situatie zien waarin het event in het ene OS ‘flight.search.add_flight’ heette, en in het andere ‘flight_search.add_flight’. Als zo’n inconsistentie ontdekt wordt in het dashboard, dan is dat een rode vlag voor het development team, en kan het opgelost worden.

3. Een dashboard voor data-selectie

De laatste oplossing is een dashboard dat toont welke app-versies op welke besturingssystemen je kunt gebruiken om je specifieke datavraag te beantwoorden. Inconsistenties die op basis van het voorgaande dashboard gefikst zijn, in combinatie met appgebuikers die niet allemaal de laatste versie van de app gebruiken, maken het lastig om de juiste data te selecteren.  Daarom is er bij Schiphol een tweede dashboard dat op basis van een ingegeven tijdsperiode, en de events, besturingssystemen en app-versies die je wil meenemen in je analyse, laat zien of er inconsistenties zijn. Op basis van die informatie kun je bepaalde versies of besturingssystemen uitsluiten, of je query aanpassen, om op die manier een accurate analyse te doen die een compleet beeld van het appgebruik geeft. 

Met deze drie oplossingen, die trackingfouten op productie zoveel mogelijk voorkomen, detecteren van problemen op productie vergemakkelijken, en ervoor zorgen dat de juiste data geselecteerd wordt, durft Alouette nu met vertrouwen tegen haar Product Owner te zeggen: “Ja, ik weet zeker dat mijn data klopt”.

Vier tips voor het uitrollen van een data-gedreven digitale transformatie

Roos van Duren, Digital Product Manager bij Eneco vertelde hoe Eneco in anderhalf jaar een stuk meer data-gedreven is geworden. Eneco heeft al jaren de ambitie om zo’n transformatie door te maken, maar problemen met datakwaliteit, datatoegang, datavisualisatie en de manier van werken stonden dat in de weg. 

Een consistente datastrategie

Het gebrek aan uniforme werkwijze en het toepassen van verschillende conventies door de teams leverde een probleem met datakwaliteit op. Zo kwam het regelmatig voor dat in één scherm de ene sectie bijvoorbeeld een ‘click’-actie verstuurde, en de andere een ‘select’-actie. Om consistentie te waarborgen ondernam Roos met haar team drie acties. Ten eerste richtten ze een centraal KPI-kader in, inclusief documentatie en afspraken over hoe elk van deze KPI’s te meten. Daarnaast kwam er een centraal meetplan, waarin conventies over onder andere benamingen werden vastgelegd. Bovendien maakten ze analytics onderdeel van de Definition of Done van elk scrumteam: zonder tracking werd niets meer live-gezet.

Centralisatie en educatie

Door ervoor te zorgen dat alle data te vinden was op één plek en werknemers wisten hoe ze dat data warehouse konden gebruiken, werd het probleem met datatoegang opgelost. Voorheen was data versnipperd over allerlei systemen, waardoor het lastig was om de hele klantreis te volgen. Nu staat online en offline data op één locatie. Alle andere databronnen zijn afgesloten om versnippering te voorkomen. Maar met alleen alle data bundelen ben je er nog niet. Educatie is net zo belangrijk. Daarom zetten Roos en haar team een groot scholingsprogramma op, met onder andere doorlopende GA4-lessen om kennis te consolideren. Op die manier waarborgt Eneco dat iedereen weet welke data beschikbaar is, en hoe die data te gebruiken.

Gebruiksvriendelijke dashboards

Daarna was het probleem van datavisualisatie aan de beurt: hoe zorg je ervoor dat complexe, gecombineerde data inzichtelijk blijft? Daarvoor bouwden Roos en haar team centrale dashboards in PowerBI. Ze legden veel nadruk op gebruiksvriendelijkheid, want ze wilden natuurlijk ook dat collega’s de dashboards daadwerkelijk gingen gebruiken. Het resultaat is onder andere een dashboard met inzichten in de klantreis, waar marketingteams met een paar klikken alle funnels en paden kunnen bekijken.

Data-gedreven werken in elk team

De grootste uitdaging was misschien wel om te gaan van een werkwijze met incidenteel datagebruik naar een werkwijze waarin data de kern is. Voor de transformatie gebruikten afdelingen soms data, bijvoorbeeld om een idee van een Product Owner te verifiëren. Het doel was om de hele organisatie datagedreven te maken. Dat begon met kleine stapjes, bijvoorbeeld door data te gebruiken om aan het development team hun impact te laten zien. Ze begonnen A/B-testen te bespreken, en moedigden devs aan om te raden wat het resultaat was. Op die manier werd data een natuurlijk onderdeel van hun werk, en werden developers veel meer een onderdeel van de A/B-test-inspanningen. Uiteindelijk leidden dit soort initiatieven tot grote veranderingen: teams prioriteren hun backlog nu op basis van data. Hippo’s (HIghest Paid Person’s Opinion) kregen minder invloed, en ideeën met de meeste waarde voor de klant en de organisatie komen bovenaan de backlog.

Met deze oplossingen op het gebied van datakwaliteit, datatoegang, datavisualisatie en de manier van werken veranderde scepsis in enthousiasme. UX-ers die eerst vonden dat data hun creatieve proces verstoorde zagen nu de waarde in. Andere teams vonden in data dé manier om business cases te onderbouwen en ideeën te prioritiseren. Uiteindelijk bleek de ambitie van Eneco om een data-gedreven digitale transformatie door te gaan prima te verwezenlijken. Dit alles vatte Roos samen in 4 tips: bepaal een teamoverstijgende datastrategie, besteed tijd aan het opleiden van collega’s, maak datagebruik zo makkelijk mogelijk met gebruiksvriendelijke dashboards, en steek veel tijd in het veranderen van de mindset om data een onderdeel van ieders dagelijkse werkzaamheden te maken.