Veel bedrijven zijn bang voor interactie-effecten
Alle bedrijven die online experimenten uitvoeren komen op een gegeven moment op het punt waarop ze meer experimenten willen doen dan ze belangrijke pagina’s hebben. Een voor de hand liggende oplossing is: meerdere A/B-testen tegelijk uitvoeren op dezelfde pagina. Toch durven de meeste bedrijven dit niet aan uit angst voor interactie-effecten.
In deze blog beschrijf ik drie belangrijke voordelen van het uitvoeren van meerdere experimenten tegelijk op dezelfde pagina’s. Daarna ga ik in op de kans op interactie-effecten. Wegen de voordelen van het uitvoeren van meerdere A/B testen op tegen het risico van interactie effecten? En kun je dit risico ondervangen?

A/B-testen op high value pages leveren het meeste op

A/B-testen leveren het meeste op wanneer je ze uitvoert op de meest waardevolle pagina’s van je website. Op een pagina waar alle bezoekers langskomen, behaal je met een kleine verbetering in het design al snel een veel groter rendement dan op een pagina waar maar een deel van je bezoekers hoeft te zijn. Bovendien is op deze pagina’s de power het hoogst waardoor je kleinere effecten kunt detecteren en je een kortere looptijd per A/B-test nodig hebt. Logischerwijs spendeer je als CRO’er de meeste tijd en aandacht aan het optimaliseren van deze pagina’s.

Helaas is het aantal high value pages op een website beperkt. Voor de meeste e-commerce websites zijn ze op één hand te tellen: Product Listing Page (PLP), Product Detail Page (PDP), een stuk of wat checkout-stappen, en misschien de homepage. Dit is geen probleem in het beginstadium van een optimalisatieprogramma. Maar wat doe je als je op het punt komt waarop je vrijwel continu een A/B-test live hebt staan op elk van eerder genoemde pagina’s?

Voordelen van het uitvoeren van meerdere A/B-testen tegelijk op dezelfde pagina

Het uitvoeren van meerdere experimenten tegelijk op dezelfde pagina heeft grote voordelen ten opzichte van andere oplossingen die bedrijven kiezen wanneer ze het punt bereiken waarop continu een A/B-test live staat op elk van de high value pages.

• A/B-testen op de high value pages leveren meer op in vergelijking met testen op andere pagina’s. Nog meer testen op deze pagina’s zal daarom meer opleveren dan het uitvoeren van testen op pagina’s die weliswaar nog niet bezet zijn, maar ook minder waarde vertegenwoordigen;
• Power van testen blijft hoog, omdat je voor iedere test gebruik blijft maken van alle verkeer op de pagina. Dit is niet het geval bij de veel gebruikte oplossingen voor het ruimteprobleem op de belangrijkste pagina’s waarbij het verkeer wordt opgesplitst in verschillende test lanes of multivariate testen (A/B/C/n) worden gedaan. Dezelfde bezoeker kan dan nooit in meerdere A/B testen tegelijk zitten, maar dit gaat ten koste van de power van elke test;
• Plannen is makkelijker, omdat geen rekening gehouden hoeft te worden met pagina’s die bezet zijn.

Weegt het risico op interactie-effecten op tegen deze voordelen?

Een nadeel van het uitvoeren van meerdere A/B testen tegelijk is dat experimenten elkaar kunnen beïnvloeden. De vraag is:

• Hoe vaak komt het voor dat een interactie-effect optreedt wanneer we twee testen tegelijk uitvoeren;
• In hoeverre is het een probleem wanneer er een interactie-effect optreedt;
• En moet je nou wel of niet meerdere A/B-testen uitvoeren op dezelfde pagina?

Hoe vaak komt het voor?

Om met die eerste vraag te beginnen: uit de ervaring van grote organisaties die heel veel experimenten doen zoals Microsoft en Booking.com blijkt dat interactie-effecten weinig voorkomen (volgens de verantwoordelijken voor het experimenteerprogramma bij deze bedrijven, respectievelijk Ronny Kohavi en Lukas Vermeer). Ook onze eigen ervaring bij grote online bedrijven in Nederland is dat interactie-effecten weinig voorkomen, namelijk in minder dan 5% van de gevallen waarin meerdere experimenten tegelijk live hebben gestaan.

In hoeverre is het een probleem wanneer er een interactie-effect optreedt?

Een interactie-effect kan zowel een voordelig als een nadelig effect hebben. Het is voordelig als er een positieve interactie is: de twee varianten versterken elkaar en zorgen gecombineerd voor een extra grote uplift.

Figuur 1: Bezoekers die in beide tests variant B hebben gezien, hebben een hoger Conversion Rate % dan andere bezoekers
Het interactie-effect kan ook negatief zijn: de variant in de ene test verzwakt dan het effect van je andere test waardoor een winnend effect niet meer herkend wordt.

Figuur 2: Bezoekers die in beide tests variant B hebben gezien, hebben een lager Conversion Rate % dan andere bezoekers

Moet je wel of niet meerdere A/B-testen uitvoeren op dezelfde pagina?

In vergelijking met de grote voordelen voor waarde en power van je experimenteer programma, zijn de nadelen van interactie-effecten klein. Daarom adviseren we om wél meerdere A/B-testen uit te voeren op je belangrijkste pagina’s.
Natuurlijk is het goed om wel te checken of er überhaupt een interactie-effect optreedt. Om dit gemakkelijk voor je te maken, hebben we een Interaction Effect Calculator gebouwd. Deze is te vinden in de Online Dialogue toolkit.

Figuur 3: De Interaction Effect Calculator uit de Online Dialogue toolkit

… Even tussendoor: we sturen elke drie weken een nieuwsbrief met daarin de laatste blogs, teamupdates en natuurlijk nieuws over het aanbod in onze academy. Klik hier om je in te schrijven.

Aanmelden nieuwsbrief

Door het aantal gebruikers en conversies in te vullen voor elk van de mogelijke varianten, bepaal je snel of er een interactie-effect is en zo ja, of dit een voordelig of nadelig effect is.
Op deze manier ondervang je het risico op interactie-effecten en haal je het meeste uit de belangrijkste pagina’s van je website!