8 juni stond het ODHouse geheel in het teken van de 24e editie van de Dialogue Donderdag: Statistics & Algorithms. Op het programma stonden presentaties van Lucas Vermeer van Booking.com en Guido Jansen van Euroflorist. De dag werd ingeleid door Ton Wesseling en afgesloten met een paneldiscussie waarbij het publiek vragen kon stellen aan alle drie de sprekers.
Lukas Vermeer | Explaining statistical concepts through compelling stories and concrete examples
Bijna iedereen heeft wel iets van statistiek gehad tijdens zijn studie. Maar heb je deze kennis ook al eens toegepast gedurende je carrière? Als je statistiek goed begrijpt, ben je beter in staat de resultaten van je online experimenten te begrijpen. Dit is erg belangrijk aangezien de resultaten van je oude experimenten ook de input vormen voor nieuwe experimenten. Tijdens zijn presentatie deelde Lucas vier statistische verhalen die geholpen hebben bij het opschalen van Booking.com’s testcultuur. Wij hebben er twee voor jullie op papier gezet. Herkennen jullie de statistische problemen?
Verhaal #1: De scherpschutter
Het eerste verhaal gaat over een scherpschutter. En niet zomaar een scherpschutter, hij gebruikt namelijk een jachtgeweer als wapen (niet de beste keuze als je van ver heel precies moet schieten). In de verte staat een schuur waar de scherpschutter een paar schoten op aflost. Als hij klaar is loopt hij naar de schuur en tekent hij om elk gat een paar rode en witte cirkels. Op deze manier lijkt het alsof ieder schot in de roos was.
Een zelfde aanpak gebeurt ook regelmatig bij experimenten, maar is geheel zinloos. Het uitvoeren van experimenten heeft pas toegevoegde waarde als je voorafgaand aan je test een voorspelling kan doen. Teken je doelwit voordat je begint met schieten.
Verhaal #2: Denken aan eyeliner zorgt voor gewichtsverlies
De rapporten van online survey tools laten vaak zien hoeveel mensen de survey hebben ingevuld, maar niet hoeveel mensen de survey begonnen zijn. Een simpel experiment laat zien hoe de afwezigheid van deze informatie kan leiden tot onbetrouwbare resultaten. Stel je voor dat je een experiment opzet met twee surveys. Bij survey A moeten de deelnemers zich eerst voorstellen dat ze scheerschuim opsmeren en dan een aantal vragen beantwoorden over leeftijd, sekse en gewicht. Bij survey B moeten de deelnemers zich indenken dat ze eyeliner opdoen voordat ze dezelfde vragen beantwoorden. Dit experiment heeft een wonderbaarlijke uitkomst: denken aan eyeliner zorgt voor gewichtsverlies.
Niets blijkt minder waar. Zowel mannen als vrouwen begrijpen hoe scheerschuim werkt en kunnen zich dit dus goed inbeelden. Maar mannen hebben over het algemeen meer moeite met het inbeelden van iemand die eyeliner op doet waardoor ze sneller de survey verlaten. Dit zorgt ervoor dat tegen de tijd dat de deelnemers aankomen bij de vraag over het gewicht, alleen nog maar vrouwen over zijn. Houd dus altijd in de gaten wie het experiment gezien heeft. Vallen er veel mensen weg bij een groep en minder bij de andere? Het doel is om de verdeling altijd 50/50 te houden.
Guido Jansen | How Euroflorist is preparing for Artificial Intelligence: changes to our optimization strategies
Hoe krijg je de best converterende layout van je website? Tijdens zijn presentatie liet Guido zien hoe het huidige optimalisatie proces bij Euroflorist gestructureerd is en hoe Euroflorist zich voorbereidt op de vervolgstappen voor het optimaliseren van het Euroflorist B2C e-commerce platform door middel van Artificial Intelligence systemen. Dankzij het optimalisatie team van Euroflorist draaien er 10 tot 20 testen tegelijkertijd en zorgt een op de vijf testen voor uplift. Maar het team wil meer.
AI is the answer
Na het testen van verschillende AI toepassingen ging Euroflorist met ondersteuning van Online Dialogue aan de slag met de uit Amerika afkomstige tool Sentient. Een tool voor multivariate testen die naarmate het experiment vordert evolueert totdat de meest optimale variatie overblijft. Dankzij deze tool is het mogelijk meerdere elementen van een website tegelijkertijd te testen en, zonder dat je enorme hoeveelheden bezoekers nodig hebt, op zoek te gaan naar de optimale oplossing voor jouw site.
We have a winner!
De eerste testen zijn gedraaid in 3 van de 11 landen waarin Euroflorist actief is: Nederland, Noorwegen en Zweden. Deze landen zijn gekozen aangezien ze veel verschillen in bezoekersaantallen en conversie ratio. Voor ieder land zijn dezelfde 8 elementen op de site getest met ieder 2 varianten. De test heeft tot 3 generaties gelopen en er zijn al een aantal resultaten. De testen voor Nederland en Noorwegen bleken niet significant, maar Zweden daarentegen bleek wel een winnaar te hebben. In de volgende fase gaat het optimalisatie team van Euroflorist de winnende variant van Zweden A/B testen om zeker te zijn van het effect.
Wat hebben we geleerd?
Terugkijkend op het experiment heeft Guido de voor- en nadelen op een rijtje gezet van testen met Artificial Intelligence.
Voordelen van testen met AI:
- De tijd per variant is veel korter
- Je eindigt met een uncommon variatie
- Je hebt minder verkeer nodig (ongeveer 75% minder)
- Hogere ROI
Nadelen van testen met AI:
- Uitgebreid opstartproces
- Het blijft een blackbox
- Je weet niet hoe lang het duurt voordat je experiment naar de volgende generatie overgaat
- Garbage in, Garbage out
- Het maakt hun lokale Ecom managers enorm bang
Voordelen normale A/B en MvT testen:
- Meer controle
- Strengere hypothese testen
Nadelen normale A/B en MvT testen
- Langzaam
- Minder varianten
- Meer verkeer vereist
- Gelimiteerde test capaciteit
De slides van Guido’s presentatie vind je hier: http://ondi.me/slidesdido24
28 september 2017 is alweer de 25e editie van de Dialogue Donderdag! Wil je er graag bij zij? Meld je dan alvast aan voor de wachtlijst door het onderstaande formulier in te vullen:
[ninja_forms id=35]
