NU.nl bereikt 8 miljoen unieke bezoekers per maand via hun website en app. Ze experimenteren volop, maar sinds kort A/B-testen ze ook in de app. We spraken product owner Rowdy van Looy en conversiespecialist Lucia van den Brink van NU.nl over deze nieuwe stap.
Jarenlang testte NU.nl op de website, maar de grote droom was om te testen waar het meeste verkeer was: in de app. Testen in app kon op zich wel, maar daarvoor moest iedere keer een app release komen die gebruikers moesten downloaden. Dat was een erg traag en log proces.
Conversiespecialist Lucia onderzocht de oplossing die de testsoftware VWO bood, maar dat betekende eigenlijk hetzelfde logge proces, maar dan met VWO als voorkant. Het kantelpunt kwam toen er een plan werd gemaakt voor een nieuwe backend van NU.nl: alles serverside bouwen. Vanaf de server wordt bepaald hoe de interface van NU.nl eruit gaat zien voor de gebruiker, en niet pas op het apparaat (ook wel ‘client’ genoemd) van de gebruiker zelf. Denk aan: waar content staat en hoe het eruit ziet. Dit is dankzij de nieuwe backend zonder app release via de server aan te passen. Een ander voordeel is dat NU.nl niet meer alles drie keer (voor elke cliënt: web, Android en iOS) hoeft te bouwen.
Hier profiteert app testen ook van, dat werd nu mogelijk. Varianten worden vanaf de server ingeladen. Dit is snel en voorkomt flicker-effect (wanneer een originele pagina kort wordt weergegeven voordat de B-variant verschijnt).
Als tool om het verkeer te splitten en testen aan te zetten wordt het gratis product Firebase gebruikt: een cloud oplossing van Google.
Voordelen van app-testen
App-testen via een serverside oplossing heeft onderstaande voordelen.
- Geen cookievervuiling. Testen kunnen langer dan twee weken lopen en je blijft je gebruiker volgen. Er lopen bij NU.nl maandenlang testen om naar langetermijngedrag te kijken.
- Geen flicker-effect. De test wordt niet over een bestaande pagina heen geladen.
- Variant is sneller ingeladen.
- Zonder dat gebruikers een nieuwe app-versie hoeven te downloaden, ziet Nu.nl hoe bezoekers reageren op designaanpassingen.
- Het kost geen credits per bezoeker (zoals bij VWO).
- De winnaar kan snel doorgevoerd worden.
Valkuilen
Om je product serverside te bouwen, heb je veel draagkracht nodig binnen je organisatie. “Dankzij onze hoge bezoekersaantallen op mobiel, loonde het om onze app op deze manier te herbouwen. Hierdoor kunnen wij sneller experimenteren en itereren,” aldus product owner Rowdy.
Ook is multidisciplinair werken cruciaal. Bij NU.nl denkt iedereen mee: van developer tot hoofdredacteur. Iedereen is verantwoordelijk om impactvolle veranderingen éérst te valideren – niet alleen een CRO-specialist. Dit maakte testen in de app voor iedereen belangrijk.
Omdat NU.nl zoveel verkeer heeft, staan testen op slechts 3% van de bezoekers live. Er kan ontzettend veel getest worden. Lucia maakt gebruikt van Airtable om alles slim te documenteren, zodat kennis niet verloren gaat.
Tot slot is het heel belangrijk om een test zorgvuldig live te zetten. Het is echter niet zo makkelijk om varianten in app te checken voor livegang, dus dat wordt opgepakt door een technische tester. Er mag niets misgaan en de app mag niet onbereikbaar of -bruikbaar zijn. Dat kost gebruikers en wil je te allen tijde voorkomen.
Bij veel organisaties staat het testen van de app nog in de kinderschoenen. Hopelijk helpt de informatie van NU.nl je enigszins op weg. Heb je vragen of kun je wel wat hulp gebruiken met optimaliseren? Neem contact met ons op.
