Conversie optimalisatie bestaat inmiddels al een tijdje. In de loop der jaren hebben we ons verdiept in onderwerpen als statistiek, psychologie, server-side testen en automatisering. Een onderwerp waarvoor minder aandacht is, is prioritering. Hoog tijd om daar verandering in te brengen.
Natuurlijk zijn veel bedrijven overgestapt van een basis framework zoals PIE en ICE, naar een completer framework, zoals PXL. De meeste bedrijven gebruiken dergelijke modellen al jaren. De hoogste tijd om ons model te optimaliseren en te valideren om een grotere impact op de bedrijfsdoelen te realiseren.
In dit artikel stel ik een gedeeltelijk geautomatiseerd en evidence-based prioriteringsframework voor, met een dubbele feedbackloop om betere A/B-tests uit te voeren en meer winnaars te vinden.
PIE, ICE & PXL frameworks
We gebruiken al heel lang PIE-, ICE- en PXL-gerelateerde frameworks. Niet alleen binnen conversie optimalisatie, maar ook growth hackers gebruiken dergelijke modellen.
Het voordeel van deze modellen is hun eenvoud. Vooral modellen zoals PIE en ICE hebben slechts drie cijfers nodig om tot een prioriteitsscore te komen. PXL-gerelateerde frameworks hebben ongeveer tien getallen nodig, maar omdat dit model veel meer op feiten is gebaseerd, was het jarenlang mijn favoriete framework. Echter, al deze modellen hebben ook een paar grote nadelen.
Allereerst zijn PIE en ICE volledig subjectief. We geven subjectieve scores aan elk attribuut. Neem bijvoorbeeld ‘potential’ binnen PIE of ‘confidence’ binnen ICE. Met een A/B-test winstpercentage van, laten we zeggen 25%, hoe zeker kun je dan zijn? Hoe zeker ben je van het potentieel?
Ten tweede is er te veel aandacht voor gemak. Binnen PIE en ICE draagt Gemak 33,3% bij aan de totaalscore! Dat gaat ten kosten van innovatieve experimenten. Als iets moeilijk te bouwen is, belandt het onderaan de backlog. Voor PXL heeft Gemak minder impact op de totaalscore. Het is echter nog steeds het attribuut dat van alle tien attributen de hoogste score kan halen. Het gemak is natuurlijk belangrijk om een hoge testsnelheid te realiseren. Complexe experimenten, zoals nieuwe functionaliteiten, kunnen echter een grotere impact hebben. Een combinatie van beide is essentieel.
Ten derde is er weinig tot geen afstemming met de bedrijfsdoelstellingen. Ik neem aan dat wanneer je experimenten uitvoert, het hoofddoel hetzelfde zal zijn als het doel van het bedrijf. Toch helpt het om af te stemmen op de huidige bedrijfs OKR’s (Objectives en Key Results) of OGSM’s (Objective, Goals, Strategies en Measures) om relevante experimenten uit te voeren. Dit helpt bij de acceptatie van experimenteren in de gehele organisatie.
En ten vierde, en misschien wel het belangrijkste voor PXL-gerelateerde frameworks: er is een enorm gebrek aan bewijs en feedback. Bijvoorbeeld, in het PXL-model krijgen ideeën met betrekking tot problemen die worden gevonden in kwalitatieve feedback een hogere score. Echter leidt dit wellicht niet per se tot betere experimenten. Misschien hebben ideeën met betrekking tot kwalitatieve feedback in jouw situatie wel een laag winnaars percentage. Toch geef je deze ideeën consequent een hogere score, waardoor je winstpercentage voor experimenten aanzienlijk daalt! Een ander voorbeeld zijn ideeën die te maken hebben met motivatie. In het PXL-model geef je deze ideeën een hogere score, maar misschien leiden experimenten met betrekking tot ability tot veel meer winnaars.
5 stappen om de basis van je nieuwe prioriteringsmodel te creëren
We hebben een prioriteringsmodel nodig dat ons helpt betere beslissingen te nemen, zodat we betere A/B-tests kunnen uitvoeren en betere inzichten kunnen krijgen. Tegelijkertijd willen we de eenvoud van de huidige modellen behouden. Het model moet ook evidence-based zijn, tot op zekere hoogte geautomatiseerd, en met een (dubbele) feedbackloop op basis van het succes van afgeronde experimenten.
Stap 1. Documenteer de psychologische richting voor elk experiment
Gegevens bij Online Dialogue laten zien dat wanneer je psychologie op de juiste manier inzet in je experimenteer programma, je winstpercentage zal stijgen. De eerste stap is, daarom, het documenteren van de psychologische richting voor elk experiment. Hiervoor kun je het psychologische model gebruiken dat je voorkeur heeft. Ik benoem er twee:
Het meest eenvoudige model is het Fogg-gedragsmodel. Documenteer voor elk experiment of je de motivatie of de ability probeert te vergroten of een prompt toepast.
Je kunt ook de Behavioural Online Optimization Method (BOOM) van Online Dialogue gebruiken.
Stap 2. Bereken het winstpercentage en de impact van elke richting voor elke pagina
Nadat je de psychologische richting hebt gedocumenteerd, kun je nu het winstpercentage en de impact (gemiddelde conversiestijging per winnaar voor je belangrijkste KPI) voor elke psychologische richting op elke pagina berekenen.
Bij Online Dialogue gebruiken we Airtable als documentatie tool. In deze tool is het eenvoudig om deze berekeningen te maken. En aangezien we alles in Airtable documenteren, inclusief experiment resultaten, is het automatiseren van prioriteringsscores moeiteloos (zie volgende stap). Uiteraard kun je ook een andere tool gebruiken.
Stap 3. Gebruik de scores als start van je prioriteringsmodel en automatiseer (eerste feedbackloop)
De volgende stap is het opzetten van je prioriteringsmodel. Het begin van je model is de score van de vorige stap.
Voor het winstpercentage kun je het getal met 10 vermenigvuldigen. Een winstpercentage van 41,5% wordt dus 4,15 punten. Voor de impact kun je de scores vermenigvuldigen met 100. Een gemiddelde stijging per winnaar van 5,1% wordt dus een score van 5,1.
Op basis van bovenstaande schermafbeelding krijgt elk experiment idee op je backlog, dat een prompt toepast op de home page, een score van 4,15 + 5,1 = 9,25.
Natuurlijk moeten deze scores automatisch worden bijgewerkt. Na elk experiment verandert het winstpercentage en na elk winnend experiment kan de impact veranderen. Je documentatie tool zou deze berekeningen automatisch moeten doorvoeren, waardoor prioriteringsscore van de ideeën op je backlog ook automatisch bijgewerkt worden.
Nogmaals, met Airtable is dit relatief eenvoudig.
Stap 4. Voeg andere kenmerken toe die van toepassing zijn op jouw organisatie
Vervolgens wil je misschien extra attributen toevoegen die van toepassing zijn op jouw bedrijf.
Voorbeelden:
- Afstemming met bedrijfsdoelen en OKR’s (belangrijke testdoelen krijgen een hogere score)
- Percentage verkeer dat de verandering zal zien (boven de vouw krijgt een hogere score)
- Minimal detectable effect (lagere MDE krijgt een hogere score)
- Percentage van de omzet dat door de pagina gaat (hoger percentage krijgt een hogere score)
- Urgentie (urgenter betekent een hogere score)
- Gemak (zorg ervoor dat je eenvoudige en complexe tests voor snelheid en impact in evenwicht houdt)
Drie dingen om in gedachten te houden:
- Zorg er eerst voor dat het winnaars percentage en de impact het hoogste gewicht hebben in de totale prioriteitsscore. Deze zijn gebaseerd op eerdere experimenten en zouden de beste voorspeller moeten zijn voor je volgende experiment.
- Voeg niet te veel attributen toe. Dit vertraagt het prioriteringsproces.
- Scoor deze extra attributen zoals jij denkt dat goed is voor je experimentenprogramma en optimaliseer in stap 5.
Stap 5. Valideer en optimaliseer het model (tweede feedbackloop)
We zijn optimizers! Wij analyseren data en optimaliseren. Waarom doen we dit niet voor ons prioriteringsmodel?
Met de juiste documentation tool, of met een exportfunctie, kun je een draaitabel maken. Toon op de verticale as de prioriteitsscores (of een reeks scores) van alle voltooide experimenten. Geef op de horizontale as het winstpercentage en de gemiddelde impact van deze experimenten weer.
De experimenten met de hoogste prioriteitsscore zouden het hoogste winstpercentage en de hoogste impact moeten hebben. Is dat niet het geval, pas dan je model aan. Wijzig bijvoorbeeld de score van de extra attributen of leg meer gewicht op de winnaars- en impactscores.
Blijf experimenteren en blijf je model optimaliseren.
Betere prioritering voor betere beslissingen
Een succesvol experimentenprogramma zorgt voor enthousiasme binnen je organisatie voor experimenteren en valideren.
Het succes van je programma wordt vaak bepaald door het aantal A/B-testwinnaars en waardevolle inzichten uit je experimenten. Om de beste experimenten uit te voeren, is een goed prioriteringskader essentieel.
Onze prioriteringsmodellen moeten eenvoudig, evidence-based, tot op zekere hoogte geautomatiseerd zijn, met een (dubbele) feedbackloop op basis van het succes van eerdere experimenten.
Zoals ik in het begin al zei is, is er naar mijn idee te weinig aandacht voor het belang van prioritering. Met deze blog hoop ik echter dat meer organisaties een evidence-based model gaan gebruiken, afgestemd op de bedrijfsdoelen, om zo nog succesvoller te worden met experimenteren.
Mocht je hulp nodig hebben in het opzetten van een prioriteringsmodel voor jouw organisatie, neem dan gerust contact met ons op.