Euroflorist Casestudy: Massive Multi-Variate Testen met de Sentient Ascend AI software

Evolutionaire Algoritmes in CRO: de eerste casestudy in Nederland

De conversie optimalisatie markt wordt steeds volwassener. Meer en meer CRO teams gaan op zoek naar nieuwe manieren om hun CRO programma naar een hoger niveau te tillen en steeds meer nieuwe tools beloven onze werkzaamheden efficiënter en winstgevender te maken. Toch is het vanuit technologisch oogpunt alweer even geleden dat een disruptive tool de markt betrad. Totdat Sentient Ascend haar intrede deed.

AI voor meer rendement

Sentient Ascend is een automatisch conversie optimalisatie systeem dat gebruik maakt van een evolutionair algoritme. Een tool voor massive multi-variate testing die op een slimme manier steeds nieuwe combinaties uittest, om in zo min mogelijk tijd de ideale combinatie te vinden. In plaats van een enkele nieuwe variant, zoals bij een A/B-test, worden meerdere varianten parallel aan elkaar getoetst. Daarnaast wordt het experiment opgesplitst in generaties waarin telkens een beperkt aantal aan mogelijke combinaties wordt getoetst. Dit verschilt weer van een multi-variate test waarbij er van meerdere elementen op een pagina meerdere varianten simultaan worden getoetst.

Iedere nieuwe generatie leert het systeem welke combinaties met welk element variaties het beste scoren. De ‘winnende element variaties’ worden in de erop volgende generatie gecombineerd en weer opnieuw getoetst. Op deze manier zoekt het systeem zo snel mogelijk naar de beste combinatie van element varianten, zonder elke mogelijke combinatie te toetsen. Bij een goede opzet van de element varianten zorgt elke nieuwe generatie weer voor een uplift in het gemiddelde rendement van de actieve combinaties in vergelijking met de originele uitgangssituatie. Sentient biedt met deze tool middels ‘parallel interactive evolution’ een nieuwe manier om op grote schaal multi-variate testen uit te voeren en optimaal gebruik te maken van de tijd die normaal tussen experimenten voltooien, analyseren en een nieuw experiment starten ligt.

Wat maakt een Sentient Ascend experiment anders dan een A/B-test?

Conversie optimalisatie is het “evidence based” (her)ontwerpen van customer journeys met als doel om mensen zo succesvol mogelijk bepaalde taken te laten uitvoeren (bijvoorbeeld registreren voor een dienst of het kopen van een product). Om te begrijpen welke hypotheses – die zijn gesteld vanuit gedragsonderzoek – welk effect hebben, worden online experimenten ingezet. Veelal probeer je dan via een A/B-test erachter te komen of de nieuwe aanpassing op je site beter presteert dan de huidige situatie.

Het opzetten van een A/B-test kost tijd en voor betrouwbare toetsingsresultaten heb je voldoende bezoekers nodig. Hoeveel experimenten je kunt uitvoeren is daarmee enerzijds afhankelijk van de bezoekersaantallen van je website en anderzijds van de tijd (resources) die je hebt. In de praktijk zien we dan ook dat wat je kunt toetsen vaak beperkt is en dat er goed moet worden geprioriteerd om te zorgen dat je de juiste experimenten uitvoert.

Om deze reden is Sentient Ascend in onze ogen een disruptieve tool in de markt – de tool wil vooral meer en meer input. Hoe meer elementen op een pagina of in een customer journey een variant krijgen, hoe meer mogelijke combinaties er ontstaan. Meer combinaties zorgen in theorie voor een hoger globaal maximum en het systeem is ontworpen om zo snel mogelijk dit maximum te vinden. De kanttekening is wel dat je nog steeds goed onderzoek wilt doen om te bepalen welke variaties je maakt op elementen. Te veel garbage als input zorgt ervoor dat het systeem te veel tijd besteedt aan het uitfilteren van de garbage, waardoor je het systeem niet optimaal gebruikt (prioriteren van hypotheses blijft dus gewoon een must).

Het aantal combinaties dat wordt getoetst binnen een generatie is wel beperkt door het aantal bezoekers dat je hebt, maar je weet in ieder geval zeker, in tegenstelling tot A/B-testen, dat je je testpotentieel volledig benut. Je maximaliseert het aantal toetsingen dat je kunt uitvoeren binnen jouw digitale domein.

Proof of concept bij Euroflorist

Het duurde niet lang voordat we een geschikt CRO team hadden gevonden dat het enthousiasme voor de nieuwe tool met ons deelde. Ondanks dat het team van de online bloemenwinkel Euroflorist (destijds onder leiding van Guido Jansen) al een gedegen CRO programma heeft, staan ze altijd open voor innovatie. Euroflorist is met recht een online pionier. Zo verkochten ze in 1995 het eerste online boeket (en waren hiermee één van de eerste honderd webshops wereldwijd) en komt inmiddels het grootste deel van hun revenue uit online. Vanaf negentien sites (verspreid over elf landen) verkopen ze gemiddeld twee miljoen boeketten per jaar. Daarnaast hebben ze meer dan tien miljoen bezoekers op hun sites en behalen ze op sommige sites conversie ratio’s van meer dan 25%(!).

In het voorjaar van 2017 zijn we – Euroflorist als testplatform en Online Dialogue als creatief en technisch partner – de uitdaging aangegaan en hebben we Sentient Ascend met open armen ontvangen voor een proof of concept op de Zweedse desktop website van Euroflorist.

Wat wilden we leren van deze Proof of concept?

1. Is Sentient Ascend in de praktijk daadwerkelijk een methode om je conversie te verbeteren? Maakt het zijn belofte waar?
2. Wanneer is het logisch om gebruik te maken van deze oplossing?
3. Is de winnende combinatie een variant die we ook zelf via A/B testen zouden hebben gevonden?

De opzet van het Sentient Ascend experiment

De proof of concept startte met een uitgebreide hypothese sessie. Vanuit Online Dialogue’s ‘Evidence Based Growth’ principe is er een determinanten van gedrag onderzoek uitgevoerd bij Euroflorist op basis van beschikbare gedragsdata, eerdere (A/B) testen, surveys, heatmaps en wetenschappelijk onderzoek naar bloemenverkoop. Tijdens de hypothese sessie werd deze kennis gespiegeld met de kennis van Euroflorist en zijn de hypotheses geprioriteerd (op basis van kans op succes, onderbouwd door de aanwezige onderzoeksdata) en variaties bedacht. Onze bandbreedte-calculatie wees uit dat we met de bezoekers van Euroflorist Zweden acht combinaties per generatie konden toetsen. We kozen daarom voor een opzet van acht verschillende elementen, met elk één variatie per element. In de praktijk is het mogelijk nog meer variaties per element maken, maar voor deze Proof of Concept is gekozen voor een eenvoudige opzet.

Op basis van het determinanten van gedrag onderzoek zijn uiteindelijk de volgende acht elementen aangepakt en voorzien van een variant – de onderstaande hypotheses zijn niet volledig uitgeschreven, de uitwerking van de variant voor elk element wel.

Header

Dit is de pagina waarop men de keuze maakt voor welk boeket. Het eerste moment waarop men ook bewust gaat nadenken over de keuze. De header is vrij druk, minder druk maken geeft minder afleiding en meer focus op datgene waaraan energie moet worden besteed.

USP Bar position

De zichtbaarheid van de USP balk is niet ideaal, we maakten een variant waar deze bovenaan in plaats van onderaan de pagina werd getoond

USP Bar content

De motiverende content balk is voorzien van nieuwe informatie, informatie waarvan we verwachten dat het zorgt voor meer motivatie om bij Euroflorist te kopen.

Wel/geen progress bar

Er wordt de bezoekers niet verteld wat er gaat gebeuren in de volgende stappen als men besluit te gaan kopen, dit kan zorgen voor onduidelijkheid en dat zorgt voor afhakers.

Prijsweergave

Om te zorgen voor een groter gemiddelde orderwaarde wordt de meerprijs getoond per stap hoger in formaat in plaats van de totale prijs

Social sentence onder CTA

De Call to Action wordt zonder meer bekeken voordat men verder gaat. Om angst weg te nemen kan met een korte social proof zin ervoor gezorgd worden dat men wordt gemotiveerd om verder te gaan met het proces.

Positie van de product afbeelding / het Call to Action blok

In de westerse wereld lezen / scannen we van links naar rechts. Door eerder focus te leggen op het prijs keuze blok en deze om te wisselen met het fotoblok ziet men eerst de verschillende varianten in plaats van eerst de foto.

Productinformatie / waarschuwing

Direct onder de Call To Action worden bezoekers gewaarschuwd dat het boekt in praktijk net iets anders eruit kan zien als op het plaatje. Deze warning staat wel heel dicht bij de Call To Action en kan voor afhakers zorgen door de negatieve insteek.

Survival of the fittest – de resultaten en de winnaar getoetst

Het hele experiment op de Zweeds website heeft in totaal elf weken gelopen, waarbij vier generaties volledig zijn afgerond. In generatie 3 zagen we de eerste significante positieve uplifts en de vierde generatie had meerdere combinaties met een significante toename van het conversie percentage. In de praktijk zagen we inderdaad per generatie een stijging van het gemiddelde conversiepercentage van alle combinaties in die generatie ten opzichte van de originele pagina.

De best presterende combinatie na de vier generaties was een specifieke combinatie van vijf verschillende elementen met een relatieve uplift van 4,3% in conversies (transacties op de website, zonder impact op de average order value).

In de bovenstaande best presterende combinatie zijn de volgende dingen aangepast:

1. Progress indicator bovenaan de pagina
2. Prijs perceptie aanpassing
3. Social sentence onder de Call To Action
4. Product-waarschuwing informatie minder dicht bij de Call to Action
5. Nieuwe USP’s in de USP balk

We weten nagenoeg zeker dat dit nog niet het globale maximum is, daarvoor hadden we een aantal extra generaties nodig gehad. Maar gezien de looptijd en het feit dat het systeem significante resultaten begon te laten zien, besloten we door te gaan naar de volgende stap in de validatie van het Sentient Ascend systeem: de winnende combinatie opnieuw toetsen met een A/B test om te leren of de winnende combinatie wederom het origineel verslaat.

Deze nieuwe toetsing in een andere A/B-test tool leidde in een toetsing van twee weken (vooraf gecalculeerd op basis van de te verwachten uplift vanuit het Sentient experiment) opnieuw tot een significant resultaat (stijging in orders, gelijkblijvende order value). Het Sentient Ascend systeem is dus daadwerkelijk in staat geweest om tot winnende combinaties te komen, die anders zijn dan de mogelijke winnaar die wij zouden hebben gegokt: alle elementen actief, eventueel zonder het draaien van de productfoto en het call to action blok (wat ingaat tegen bestaande usability van e-commerce websites in het algemeen). Onze header aanpassing en de combinatie van progress indicator en USP balk bovenaan had geen positieve impact.

Op welke manier zouden wij multi-variate testen van Sentient Ascend in een CRO programma inzetten?

Voor ons is A/B-testen an sich ook exploratie. We zijn een groot voorstander van eerst je test potentieel volledig uitnutten door op te schalen in kwantiteit en daarna pas te gaan werken aan meer kwaliteit. Onze learnings van klantgedrag komen voor 50% vanuit determinanten studies (vooronderzoek) en voor 50% uit de analyse van uitgevoerde A/B-testen. De test analyses geven ons heel veel informatie over veranderingen in gedrag.

Het Sentient experiment geeft ons door de multi-variate opzet minder exacte inzichten in gedragsverandering, maar des te meer inzichten over interactie effecten en de juiste samenstelling van elementen. Voor ons is de inzet van Sentient Ascend ideaal voor de optimalisatie een customer journey (cq. website, cq. (set) van pagina’s) wanneer je middels onderzoek en A/B-testen hebt geleerd wat in de basis wel werkt en wat niet. Als je weet wat winnende hypotheses zijn dan kun je deze gebruiken voor een experiment waarin je nog een extra boost omhoog maakt door de ideale combinatie van elementen te vinden.

Normaliter maken wij na een reeks van winnende experimenten een “re-align” van de geoptimaliseerde flow – het lijkt logisch om Sentient Ascend in deze stap te betrekken. Daarnaast werkt Sentient aan een segmentatie update middels AI: het vanzelf herkennen van overeenkomende gedrag segmenten en hier leren welke samenstelling van elementen het beste werkt. Als dat eenmaal kan komt “always on” echt dichterbij. De huidige opzet is nog steeds een door tijd afgebakend Sentient Ascend Experiment met een winnaar die wordt geïmplementeerd. De toekomst is natuurlijk dat dat niet nodig is: er draait continue een experiment dat steeds meer conversie bereikt en vraagt om nieuwe input als bepaalde elementen bewezen geen impact maken.

Kosten / Baten – Tijd / Resultaten

Het Sentient Experiment kost veel meer tijd qua opzet. Je kunt elke generatie redelijk vergelijken met een A/B-test (qua doorlooptijd en tijd nodig), waardoor de totale tijd gelijk is aan een aantal A/B-testen. Waar het qua A/B-testen echter normaal is om een op de drie, dan wel vier testen een significant effect te vinden leidt elk Sentient experiment nagenoeg tot een significant resultaat, mits de juiste input in het systeem wordt gestopt (wat ook geldt voor A/B-testen natuurlijk). De juiste input is in onze ogen bij Sentient wel extra belangrijk om de business case voor Sentient positiever te laten zijn: het is beter in staat om een globaal maximum te vinden dan een reeks van A/B-testen, maar dan moet het systeem niet te veel tijd kwijt zijn aan meerdere elementen die geen impact genereren. Dan wordt het minder effectief.

De kosten van de tool liggen hoger dan menige A/B-test oplossing – de belofte van de groei van lokale maxima naar globale maxima zou dit goed moeten kunnen maken. Wij zien Sentient Ascend dat ook als goede aanvulling voor onze conversie optimalisatie klanten die al druk aan het leren zijn over gedrag en klaar zijn om deze learnings meer uit te nutten! Wij zijn daarom naast Lighthouse CRO Agency voor Google in Nederland, ABTasty premium partner en Optimizely partner nu ook met trots premium partner van Sentient Ascend.