Het voordeel

Stel, je hebt vier pagina’s waarop je kunt experimenteren en op alle vier de pagina’s moet een experiment vier weken live staan. Als je telkens wacht totdat het ene experiment klaar is voordat je een nieuw experiment live zet, en je dus maar één pagina tegelijkertijd test, dan kun je twaalf A/B-testen per jaar afronden. Wanneer je echter meerdere experimenten tegelijkertijd live zet, kunnen er vier experimenten per maand tegelijker- tijd live staan. Dit zijn 48 experimenten op jaarbasis en dus heb je vier keer vaker de mogelijkheid om iets te leren en verklein je de kans dat je geld laat liggen.

Het nadeel

Het gevolg is echter dat je meer risico loopt op interactie-effecten, waarbij het effect van de ene test invloed heeft op het effect van de andere test. Hierbij zijn twee scenario’s mogelijk.

Scenario 1

Wanneer er geen interactie-effecten zijn, kun je ervan uitgaan dat het prima is om meerdere testen tegelijkertijd live te hebben staan, zonder dat ze je data vervuilen. Daarnaast is je concurrent waarschijnlijk ook aan het experimenteren en hebben zijn A/B-testen net zo’n grote invloed op de resultaten van jouw A/B-test als je eigen experimenten.

Scenario 2

Wanneer er wel een interactie-effect is kan dit leiden tot:

• Een positief effect: dit wil zeggen dat het effect van variant B van experiment 1 het effect van variant B van experiment 2 versterkt. Hierdoor worden beide testen een winnaar, en dus implementeer je beide testen. Dit effect is echter alleen maar positief wanneer je beide varianten live hebt staan. Doe je dit niet en implementeer je maar één variant, dan kan het zo zijn dat de variant een heel ander effect teweegbrengt.