Op 11 juni ging het uitgestelde EK voetbal eindelijk van start en nu is het genieten geblazen! Naast dat we natuurlijk groot voetbalfans zijn, zijn we bij Online Dialogue ook enorm fan van experimenteren en A/B testen. Het EK is eigenlijk een aaneenschakeling van allemaal A/B testen. We leggen je uit waarom.
Samenstellen van de selectie
Voordat de bondscoach (conversie manager) een definitieve selectie samenstelt, kijkt hij hoe de spelers (webpagina’s) in het verleden gepresteerd hebben, daar komt – net als bij experimenteren – data bij kijken. Als de bondscoach alle feiten op een rijtje heeft kan de definitieve selectie gevormd worden die uiteindelijk voor de winst moeten zorgen.
De wedstrijd
In een voetbalwedstrijd laat je twee groepen van gelijke grootte (11 spelers) voor een vooraf opgestelde loopduur (90 minuten) een wedstrijd spelen met als doel een significant betere uitkomst (winst) dan de tegenpartij te behalen met een te bepalen uplift (doelsaldo). Eigenlijk dezelfde principes als bij A/B testen dus!
De teams of groepen moeten even groot zijn, anders is de wedstrijd niet eerlijk (en is het interpreteren van de uitslag dus lastig), iets wat we binnen CRO een Sample Ratio Mismatch (SRM) error noemen.
Daarnaast is het, net als bij voetbal, voor experimenteren van belang dat er van te voren wordt bepaald hoe lang een experiment loopt om te bepalen wat de betere variant is (team A of team B).
Ten derde is de uitslag natuurlijk interessant, wint A of B of blijft het bij een gelijk spel en is er dus eigenlijk geen verschil.
Als laatste kijken we naar de uplift. Een winst van 3-0 (uplift van 300%), zoals in Stadio Olimpico met Italië tegen Zwitserland is een overtuigender (en significanter) verschil dan een winst van 3-2 (uplift van 30%) (zoals in de Johan Cruijff Arena met Nederland tegen Oekraïne).
Wisselspelers
Tijdens het toernooi kan het natuurlijk voorkomen dat doelpunten uitblijven en de basiself niet presteert zoals de bondscoach had bedacht. Er is dan een aantal dingen die hij dan kan doen. De formatie (conversie strategie) aanpassen: dat houdt in dat met een andere strategie het doel bereikt moet worden. De conversie manager kijkt in dit geval naar de vijf conversie strategieën, namelijk; ability, attention, motivation, certainty en choice architecture.
Het tweede dat de bondscoach kan doen is spelers wisselen, zodat spelers (experts) op verschillende plekken (expertises) in het veld beter tot hun recht komen. Er kan dus voor gekozen worden om een data-analist, UX’er of psycholoog in te brengen.
De groepsfase
Het EK begint met de groepsfase, hierin worden de landen random geloot en verdeeld over de poules. Elke poule zou je kunnen vergelijken met een hypothese. Het wedstrijdschema is je A/B test schema, behorende bij die hypothese. Aan het begin van het EK is het nog onduidelijk wie er gaat winnen. Uit voorgaande EK’s of andere informatiebronnen kan je wel een schatting maken, maar de poulefase dient ervoor deze schatting te toetsen. Het beginnen aan een A/B testing strategie is vergelijkbaar. Wanneer je nog nooit experimenten hebt uitgevoerd is het onduidelijk welke aanpassingen werken voor jouw klanten/doelgroep. Je kunt een schatting maken aan de hand van literatuur en test strategieën van anderen, maar de omgevingsfactoren zijn vaak niet gelijk. Om zeker te weten wie de winnaars zijn, zul je dus moeten testen. Aan het eind van de poulefase heb je een veel beter beeld welke aanpak winnend is en welke misschien hoog werden ingeschat maar in de praktijk toch minder succesvol bleken. Een goed voorbeeld hiervan is Spanje. Ondanks dat Spanje door veel kenners en liefhebbers als favoriet werd bestempeld, heeft Spanje na twee wedstrijden spelen slechts twee punten. Deze kennis neem je mee naar de volgende fase van het proces: de (halve) finales.
De finales
Van de groepsfase heb je al super veel geleerd. Alleen de winnaars gaan door naar de finale. Je implementeert alleen je beste ideeën. Door het bijhouden van alle learnings uit de groepsfases kan je beter inschatten wat wel of niet werkt en wie er dus wel of niet wint. Als je de verschillende poules vergelijkt met de verschillende (psychologische) hypotheses is dit hét moment om al je kennis te gaan combineren. Uit poule A blijkt dat de kleur groen super goed werkt en uit poule B blijkt dat de knopjes voor de menubalk het beste gecentreerd op de pagina kunnen staan, bijvoorbeeld. Je experimenteert verder en borduurt voort op je testuitslagen. Maar, net als bij voetbal; resultaten uit het verleden bieden geen garanties voor de toekomst. Portugal was kampioen van het vorige EK, echter zien we dat Portugal het op dit EK het iets lastiger heeft. In de eerste wedstrijd was Hongarije tot de 85ste minuut erg lastig voor de ploeg van C. Ronaldo. De tweede wedstrijd ging Portugal hard onderuit tegen Duitsland (4-2).
De kampioen
Nadat alle finales zijn gespeeld weet je wie de kampioen is, je hebt het optimum bereikt! De spelers vieren een feestje, de support staf trekt een biertje open en de coach wordt op schouders gedragen. Aan de hand van verschillende experimenten is nu duidelijk naar voren gekomen wat het beste werkt en waar nog wat bijgeschaafd kan worden ter verbetering. Iedereen neemt de geleerde lessen mee en maakt zich op voor het volgende kampioenschap.
We moeten misschien wel één voorbehoud maken. Want een vergelijking tussen het EK en A/B test is leuk, maar ja “de bal is rond” dus in het voetbal is het niet altijd het beste team dat wint. Bij een goed uitgevoerde en gevalideerde A/B test is dat wel het geval. Desalniettemin: zet ‘m op vanavond jongens.
Hup Holland Hup!
Deze blog is geschreven door onze data scientist Naomi Smulders en UX expert Marcel Stommel.
