De 9e editie van Women in Analytics: het uitrollen van een analyticsplatform

  • Bericht auteur:
  • Leestijd:11 minuten gelezen

Hoe implementeer en gebruik je een analyticsplatform en hoe zorg je ervoor dat het schaalt? Die vragen stond op 9 maart centraal bij de Women in Analytics-meetup in Amsterdam. Met Alouette Edens van Schiphol, Roos van Duren van Eneco, en Melody Barlage van Adyen was er een sterke line-up, die de bezoekers door alle fases van het uitrollen van een analytics platform heen leidde. 

Het valideren van tracking data van meerdere apps

Alouette Edens, Freelance Digital Business Analyst bij Schiphol, beet het spits af met een antwoord op de de vraag hoe je ervoor kunt zorgen dat trackingdata van apps betrouwbaar is. Dit is natuurlijk altijd relevant, maar al helemaal als je een app hebt op meerdere besturingssystemen en gebruikers meerdere versies kunnen draaien. Hoe waarborg je dan dat alles op een consistente manier gemeten wordt, en je de data op een makkelijke manier kunt ophalen? Hoe zorg je ervoor dat je een weerwoord hebt als een Product Owner twijfelt aan wat de data laat zien? Daarvoor presenteerde Alouette drie oplossingen. 

1. Debuggen op staging

De eerste oplossing is het debuggen van de apps op staging voordat ze live gaan. Alouette gaf zelf ook al aan dat dat nogal voor de hand ligt, maar het kan toch verleidelijk zijn om deze stap over te slaan. Voor livegang alle events en parameters nakijken kan bijvoorbeeld in de realtime snapshots in Google Analytics 4 (GA4). Het nadeel daarvan is echter dat data maar voor een beperkte tijd zichtbaar blijft, en de interface niet erg gebruiksvriendelijk is. Er zijn veel kliks nodig om de alle data te zien. Daarom raadt Alouette iOS/Android Debugger van David Vallejo aan. Daaraan kun je gemakkelijk een telefoon aansluiten, waarna je een stuk makkelijker kunt debuggen. Op die manier vang je voor livegang missende tracking, typos in eventnames en andere fouten af.

2. Verschillen detecteren op productie

Voor tracking foutjes die toch door deze check heen glippen, heeft Alouette ook een oplossing: een dashboard dat inconsistenties tussen verschillende appversies toont. Schiphol bouwde een Looker-dashboard met daarin alle events en parameters die binnenkwamen in GA4. Het uitgangspunt voor de iOS- en Android-app was dat ze allebei dezelfde events en dezelfde parameters in de tracking moeten hebben. Dus als het dashboard voor een bepaald event alleen data heeft voor iOS of alleen voor Android, dan gaat er iets verkeerd in de tracking. De tracking kan helemaal missen, maar het kan ook een typo zijn. Alouette liet bijvoorbeeld een situatie zien waarin het event in het ene OS ‘flight.search.add_flight’ heette, en in het andere ‘flight_search.add_flight’. Als zo’n inconsistentie ontdekt wordt in het dashboard, dan is dat een rode vlag voor het development team, en kan het opgelost worden.

Alouette Edens tijdens haar presentatie met de slide over het dashboard dat aangeeft als events of parameters niet op beide platformen voorkomen
Alouette Edens tijdens haar presentatie op Women in Analytics

3. Een dashboard voor data-selectie

De laatste oplossing is een dashboard dat toont welke app-versies op welke besturingssystemen je kunt gebruiken om je specifieke datavraag te beantwoorden. Inconsistenties die op basis van het voorgaande dashboard gefikst zijn, in combinatie met appgebuikers die niet allemaal de laatste versie van de app gebruiken, maken het lastig om de juiste data te selecteren.  Daarom is er bij Schiphol een tweede dashboard dat op basis van een ingegeven tijdsperiode, en de events, besturingssystemen en app-versies die je wil meenemen in je analyse, laat zien of er inconsistenties zijn. Op basis van die informatie kun je bepaalde versies of besturingssystemen uitsluiten, of je query aanpassen, om op die manier een accurate analyse te doen die een compleet beeld van het appgebruik geeft. 

Met deze drie oplossingen, die trackingfouten op productie zoveel mogelijk voorkomen, detecteren van problemen op productie vergemakkelijken, en ervoor zorgen dat de juiste data geselecteerd wordt, durft Alouette nu met vertrouwen tegen haar Product Owner te zeggen: “Ja, ik weet zeker dat mijn data klopt”.

Vier tips voor het uitrollen van een data-gedreven digitale transformatie

Roos van Duren, Digital Product Manager bij Eneco vertelde hoe Eneco in anderhalf jaar een stuk meer data-gedreven is geworden. Eneco heeft al jaren de ambitie om zo’n transformatie door te maken, maar problemen met datakwaliteit, datatoegang, datavisualisatie en de manier van werken stonden dat in de weg. 

Een consistente datastrategie

Het gebrek aan uniforme werkwijze en het toepassen van verschillende conventies door de teams leverde een probleem met datakwaliteit op. Zo kwam het regelmatig voor dat in één scherm de ene sectie bijvoorbeeld een ‘click’-actie verstuurde, en de andere een ‘select’-actie. Om consistentie te waarborgen ondernam Roos met haar team drie acties. Ten eerste richtten ze een centraal KPI-kader in, inclusief documentatie en afspraken over hoe elk van deze KPI’s te meten. Daarnaast kwam er een centraal meetplan, waarin conventies over onder andere benamingen werden vastgelegd. Bovendien maakten ze analytics onderdeel van de Definition of Done van elk scrumteam: zonder tracking werd niets meer live-gezet.

Centralisatie en educatie

Door ervoor te zorgen dat alle data te vinden was op één plek en werknemers wisten hoe ze dat data warehouse konden gebruiken, werd het probleem met datatoegang opgelost. Voorheen was data versnipperd over allerlei systemen, waardoor het lastig was om de hele klantreis te volgen. Nu staat online en offline data op één locatie. Alle andere databronnen zijn afgesloten om versnippering te voorkomen. Maar met alleen alle data bundelen ben je er nog niet. Educatie is net zo belangrijk. Daarom zetten Roos en haar team een groot scholingsprogramma op, met onder andere doorlopende GA4-lessen om kennis te consolideren. Op die manier waarborgt Eneco dat iedereen weet welke data beschikbaar is, en hoe die data te gebruiken.

Gebruiksvriendelijke dashboards

Daarna was het probleem van datavisualisatie aan de beurt: hoe zorg je ervoor dat complexe, gecombineerde data inzichtelijk blijft? Daarvoor bouwden Roos en haar team centrale dashboards in PowerBI. Ze legden veel nadruk op gebruiksvriendelijkheid, want ze wilden natuurlijk ook dat collega’s de dashboards daadwerkelijk gingen gebruiken. Het resultaat is onder andere een dashboard met inzichten in de klantreis, waar marketingteams met een paar klikken alle funnels en paden kunnen bekijken.

Data-gedreven werken in elk team

De grootste uitdaging was misschien wel om te gaan van een werkwijze met incidenteel datagebruik naar een werkwijze waarin data de kern is. Voor de transformatie gebruikten afdelingen soms data, bijvoorbeeld om een idee van een Product Owner te verifiëren. Het doel was om de hele organisatie datagedreven te maken. Dat begon met kleine stapjes, bijvoorbeeld door data te gebruiken om aan het development team hun impact te laten zien. Ze begonnen A/B-testen te bespreken, en moedigden devs aan om te raden wat het resultaat was. Op die manier werd data een natuurlijk onderdeel van hun werk, en werden developers veel meer een onderdeel van de A/B-test-inspanningen. Uiteindelijk leidden dit soort initiatieven tot grote veranderingen: teams prioriteren hun backlog nu op basis van data. Hippo’s (HIghest Paid Person’s Opinion) kregen minder invloed, en ideeën met de meeste waarde voor de klant en de organisatie komen bovenaan de backlog.

Met deze oplossingen op het gebied van datakwaliteit, datatoegang, datavisualisatie en de manier van werken veranderde scepsis in enthousiasme. UX-ers die eerst vonden dat data hun creatieve proces verstoorde zagen nu de waarde in. Andere teams vonden in data dé manier om business cases te onderbouwen en ideeën te prioritiseren. Uiteindelijk bleek de ambitie van Eneco om een data-gedreven digitale transformatie door te gaan prima te verwezenlijken. Dit alles vatte Roos samen in 4 tips: bepaal een teamoverstijgende datastrategie, besteed tijd aan het opleiden van collega’s, maak datagebruik zo makkelijk mogelijk met gebruiksvriendelijke dashboards, en steek veel tijd in het veranderen van de mindset om data een onderdeel van ieders dagelijkse werkzaamheden te maken.

… Even tussendoor: we sturen elke drie weken een nieuwsbrief met daarin de laatste blogs, teamupdates en natuurlijk nieuws over het aanbod in onze academy. Klik hier om je in te schrijven.

Hoe Looker schaalbaar te houden bij 20x groei

Melody Barlage, Product Lead Business Intelligence bij Adyen, sloot de middag af met een antwoord op de vraag: hoe houd je een BI-platform schaalbaar voor 20x? Oftewel: hoe zorg je ervoor dat je platform ook nog soepel werkt als je in de toekomst 20x meer gebruikers of 20x meer data hebt? Deze vraag kwam bij Adyen voort uit noodzaak. In 2022 had hun BI-platform stabiliteitsproblemen, was toegangsbeheer een chaos, en konden medewerkers niet de data vinden waar ze naar op zoek waren. Om orde in deze chaos te scheppen, droeg Melody drie oplossingen aan op het gebied van technologie, automatisering en mensen. Ze gaf echter ook toe dat het nog geen afgeronde zaak is: met zoveel afhankelijkheden, zoveel bijdragers blijft het altijd zoeken naar de juiste balans tussen regels en vrijheid.

Schaalbare technologie

De eerste oplossing was een technologische oplossing. Adyen switchte van STS naar Trino om Hadoop met Looker te verbinden, wat meer stabiliteit opleverde. Daarnaast schaalden ze op van een naar zeven nodes, waardoor werk verdeeld kon worden en de setup minder kwetsbaar werd. Geplande taken en handmatige queries draaien op verschillende nodes zodat ze elkaar niet in de weg zitten. En als een node down is, nemen de andere zes de functionaliteit over.

Automatiseringen 

Daarnaast automatiseerden ze het verlenen van toegang. Nieuwe medewerkers kregen op basis van hun taakomschrijving automatisch toegang tot de juiste data. Als er nieuwe klanten binnengehaald werden, werd automatisch toegang verleend aan de bijbehorende account managers. Toegang kon ook vooraf ingepland worden. Dit alles bij elkaar heeft ervoor gezorgd dat iedereen op het juiste moment toegang heeft tot de juiste data, met een stuk minder handmatige handelingen.

Power (and problems) to the people

De laatste oplossing is het empoweren van meer mensen. Voorheen kwam iedereen met elke datavraag naar het twaalfkoppige BI-team. Nu worden veel meer mensen betrokken. Er kwam een overzicht van wie welke data ownt, zodat vragen en verzoeken bij de juiste mensen uitkomen. En dat zijn dus meer medewerkers dan alleen het BI-team. Daarnaast deelt het BI-team werk voor data-migratieprocessen voortaan met de Looker-developers. Het BI-team zorgt voor een robuuste basis met goede documentatie, en de Looker-developers maken de migratie af.   

Blijvende uitdagingen

Met de bovenstaande stappen is de grote chaos van 2022 voorbij, maar er zijn blijvende uitdagingen. Ten eerste zijn er veel onderlinge afhankelijkheden tussen het BI-team, de 180 Looker developers, en het infrastructuurteam. In het totaal zijn 200 tot 250 medewerkers op de een of andere manier betrokken. Dat vergt veel afstemming en overtuiging. Daarnaast betekent het hebben van zoveel betrokkenen dat goede richtlijnen belangrijk zijn, en de juiste kanalen gevonden moeten worden om die richtlijnen te communiceren. Als laatste blijft het altijd zoeken naar de juiste balans tussen regels en autonomie. Aan de ene kant wil je voorkomen dat met een slechte query het hele systeem down gehaald wordt, maar aan de andere kant moeten de developers ook de vrijheid hebben om te experimenteren en te verbeteren. Ondanks deze uitdagingen, is Melody tevreden met hoe haar team de wanorde van 2022 heeft kunnen ombuigen naar een schaalbaar en stabiel BI-platform.

Ben er de volgende keer zelf bij!

De negende editie van Women in Analytics eindigde met een borrel om te netwerken en alle opgedane kennis te doen bezinken. Wil je er de volgende keer ook bij zijn? Word dan lid van de Women in Analytics NL-groep op meetup.com. Op die manier wordt je op de hoogte gehouden van aankomende evenementen. Ook belangrijk om te weten: niet alleen vrouwen zijn welkom.

Irene Strikkers

Irene is altijd op zoek naar het complete plaatje. Dat begint in haar rol als data-analist vaak bij de data, en daarna zoomt ze uit. Een analyse van een test is mooi, maar uiteindelijk gaat het haar om wat alle inzichten samen opleveren. Met haar 7 jaar ervaring bij Yoast, brengt ze ook de nodige SEO-kennis mee.