Van Psychologisch Experiment naar Optimalisatie Strategie
De bakker om de hoek wist vroeger precies hoe laat zijn klanten langs kwamen, wie welk brood kocht, hoe het ging met de buurvrouw, op welke dagen je bezoek had en waarom je de week ervoor geen brood was komen halen. Volgens Roy Schieving (data driven design doctor bij Online Dialogue) is weten wie je klanten zijn en hoe zij zich gedragen onmisbaar bij het perfectioneren van de dialoog tussen de klant en de verkoper. Dit geldt zowel voor een offline dialoog als een online dialoog. Maar hoe leer je je klanten kennen als je ze niet iedere zaterdagochtend spreekt?
Volgens Roy ligt het antwoord bij A/B testing: in essentie een sociaal experiment waarbij een of meer varianten op een pagina gerandomiseerd aan websitebezoekers getoond worden en statistische analyse gebruikt wordt om te bepalen welke variatie beter presteert voor een bepaald conversie doel (bijvoorbeeld het inschrijven op een nieuwsbrief).
Voor zijn werk als designer combineert Roy data-analyse technieken met psychologische kennis om het gedrag van websitebezoekers te doorgronden. In een interview vroeg ik hem naar de toegevoegde waarde van deze unieke combinatie bij Conversieoptimalisatie en hoe deze in de praktijk wordt toegepast.
Je noemt jezelf een data gedreven designer, zou je kunnen uitleggen wat dat inhoudt en wat jou anders maakt dan bijvoorbeeld een front-end designer?
Wat mij anders maakt is dat ik data kan interpreteren en daarnaast kan ik een stukje psychologie toepassen in mijn ontwerpen. Je ziet heel veel ontwerpers die puur en alleen iets moois willen maken in plaats van iets dat beter werkt. Ik ben dus ook in staat af en toe gewoon lelijke dingen te maken die opvallen. En daarin zit mijn kracht. Ik kijk wat op den duur meer rendement oplevert.
A/B testing is iets dat al regelmatig wordt toegepast in online marketing, maar vaak onderschat wordt. Komen jullie dat veel tegen?
Ja, vaak hoor je mensen praten over A/B testen, maar als je ziet hoe vaak het verkeerd gaat dan zie je ineens hoe weinig mensen er echt iets van afweten. Er zijn zoveel verschillende dingen waar je rekening mee moet houden en waar je kennis van moet hebben. Daarom werken wij ook altijd in een team aan een opdracht. Dat team bestaat uit een ontwerper, een data analist, een psycholoog en een project lead die alles coördineert. En ik ben daarin de schakel tussen ontwerp en realisatie.
Hoe belangrijk is volgens jou die combinatie van design, psychologie en data-analyse bij A/B testing?
Wij zeggen altijd ‘meten is weten’. Om de klanten van een bedrijf te leren kennen moet je weten hoe zij zich gedragen op jouw site en daarbij komt A/B testing goed van pas. Maar je moet ook weten waar mensen precies vastlopen en hoe mensen beslissingen maken om te weten waar en wat je moet testen en daarnaast moet je zeker zijn dat de toetsen valide zijn.
Als wij beginnen met een opdracht gaat altijd als eerste de data-analist op zoek naar opvallende patronen in de data. Het kan bijvoorbeeld zo zijn dat klanten op een bepaald punt in een site vastlopen. Vanaf dat punt neemt de psycholoog het over en onderzoekt welk deel van onze hersenen wordt aangesproken op het door de data-analist aangegeven punt. Wij baseren ons hierbij op de psychologie van Daniel Kahneman die laat zien dat het denken van de mens opgedeeld kan worden in twee delen: het irrationele/emotionele deel (Systeem 1) en ons rationele deel (Systeem 2). Systeem 1 is van de twee systemen het verst ontwikkeld en bestaat vaak uit een automatische reactie op een gebeurtenis terwijl Systeem 2 veel langzamer is en vaak veel moeite kost om te gebruiken.
Afbeelding 1: Overzicht van de verschillende eigenschappen van systeem 1 en systeem 2 denken, zoals bewezen door Daniel Kahneman.
Als duidelijk is welk deel van onze hersenen wordt aangesproken gaan we kijken hoe we het ontwerp zo kunnen verbeteren dat de bezoekers makkelijker een keuze kunnen maken. Als dat duidelijk is ga ik aan de slag met een ontwerp en kunnen we gaan testen om te kijken of mensen daadwerkelijk dat gedrag vertonen of dat we op het verkeerde spoor zitten. Dat doen we vaak met een of twee testen. En als blijkt dat we op het verkeerde spoor zitten dan moeten we omschakelen naar een ander idee. Daarom ben je met een test op een pagina vaak nog niet klaar. Daarvoor heb je gewoon meerdere iteraties nodig wil je erachter komen hoe je de klanten kunt verleiden om een bepaalde keuze te maken.
Zou je dat concreet kunnen maken met een voorbeeld?
Eén van onze klanten is Eurail.com. Een bedrijf dat treinpassen verkoopt waarmee reizigers van over de hele wereld met één treinpas tot wel 28 Europese landen kunnen ontdekken. De Eurail pas is een uitgebreid product met veel verschillende opties; zo kan een reiziger kiezen om heel Europa te ontdekken met slechts één pas of een pas kiezen waarbij ze 1 tot 4 landen kunnen ontdekken. Daarnaast moet de klant nog een keuze maken voor hoelang de pas geldig moet zijn en hoeveel dagen ze gebruik willen maken van de trein. Om de klant zo goed mogelijk te begeleiden in het maken van de juiste keuze, is ons gevraagd om de site zo te verbeteren dat het voor reizigers duidelijker werd welke producten ze nodig hebben.
Afbeelding 2: Het origineel design van de homepage
Om de keuze voor hun klanten makkelijker te maken hebben we een nieuw design gemaakt voor de homepage. Als eerste is alle onnodige afleiding zoals bijvoorbeeld een filmpje en meerdere knoppen verwijderd en vervangen met een stappenplan met daarin de 3 keuzes die mensen moeten maken voordat ze een Railpass kunnen kopen. Alleen al deze verandering zorgde voor 400x meer ‘clicks’. Maar daarna hield het op. Dus we konden mensen met dit design heel goed verleiden om door te klikken maar als ze eenmaal op de productpagina uitkwamen wisten ze niet meer wat ze moesten doen en werden ze angstig van alle keuzes. Dus hebben we een tweede test uitgevoerd.
Afbeelding 3: Design 1, geeft sitebezoekers een overzicht van de verschillende keuzes die ze moeten maken zodat ze de kans krijgen hierover na te denken.
Voor het tweede design hebben we gekozen de producten meer naar voren te halen, om mensen al eerder de verschillende opties te laten zien. Ook is de Call To Action knop die ongelooflijk veel clicks kreeg tijdens de eerste test minder opvallend gemaakt. In plaats van op de knop te klikken, klikken mensen nu op de producten. Hierdoor maken mensen al op de homepage een keuze, wat voor minder afleiding zorgt in de verdere stadia van het koopproces.
Afbeelding 4: Design 2, geeft sitebezoekers al op de homepage informatie over de drie verschillende producten.
Om precies erachter te komen waar het probleem zat hebben jullie in dit geval twee tests moeten uitvoeren, hoeveel tests zijn er gemiddeld nodig om een klant goed te kunnen helpen?
Dat verschilt echt per klant en per pagina. In de conversiefunnel zie je bijvoorbeeld al heel ander gedrag dan op een homepage. Dan kom je vaak uit op een groot aantal testen. Als je een beetje een grote website hebt zit je zo op de 100/150 testen.
En hoe lang loopt een test dan?
Dat berekenen de data-analisten door van tevoren te bekijken hoeveel bezoekers er op een pagina zitten, hoeveel mensen doorklikken en hoeveel (eind-)conversies er zijn. Die aantallen zijn de input van een algoritme dat berekent hoeveel weken een A/B test moet lopen. Maar we rekenen sowieso altijd in weken aangezien het bezoekersverkeer op maandagochtend enorm verschilt van bijvoorbeeld het bezoekersverkeer op zondagavond. Daarom willen we altijd het week-effect meten. We meten dus minimaal een week en omdat wij alles bijhouden aan de hand van cookies meten we maximaal 4 weken. Cookies verlopen namelijk vaak na vier weken, of mensen gooien ze weg. En als je jouw cookie weggooit, dan kom je weer in de testen terecht als een nieuwe bezoeker en die vervuiling mag niet te groot zijn.
Waar jullie aanpak dus in principe op neerkomt is dat jullie kennis van de psychologie toepassen om websitebezoekers op de juiste momenten met de juiste triggers een bepaald gedrag te laten vertonen. Voor sommige mensen kan dat voelen alsof ze gestuurd worden zonder dat ze dat eigenlijk zouden willen. Waar ligt volgens jou die ethische grens?
Ik vind dat je mensen wel mag verleiden, maar niet misleiden. Ik vind niet dat je mensen teksten op een verkeerde manier mag laten interpreteren of tekst zo klein mag maken dat mensen er overheen lezen. Dat vind ik een grens waar je niet overheen mag gaan. Je moet altijd de juiste productinformatie delen. Je wilt namelijk ook dat bezoekers van een site terug blijven komen. Dat is vaak nog belangrijker dan puur en alleen de conversie verhogen. Misleiden is vaak makkelijker dan verleiden. Dus daar houden wij heel erg rekening mee, wij optimaliseren eigenlijk een site op zo een manier dat de ervaring voor de bezoeker verbetert, dus dat de site makkelijker wordt in het gebruik.
Jullie hebben een redelijk unieke aanpak vergeleken met andere bedrijven in jullie sector door de combinatie van design, psychologie en data-analyse. Hoe overtuig je je klanten van de toegevoegde waarde van deze aanpak?
Meestal zijn de marketing managers zelf al helemaal lyrisch over psychologie. Maar CEO’s zijn vaak wat moeilijker te overtuigen. Die vinden het soms gewoon niet nodig. En we hebben ook al wel vaker dingen aangetoond bij klanten die dan aangeven dat het niet mogelijk is dat die bevindingen waar zijn. Je kan het dan nog zo vaak aantonen, ze blijven overtuigd van hun eigen gelijk.
Met welke vragen komen bedrijven vaak naar jullie toe?
De klant kan vragen om meer nieuwsbrief inschrijvingen, maar uiteindelijk draait het – bij de commerciële bedrijven in ieder geval – om een toename van de omzet. Dat kan zijn dat er meer conversies uit een bestaande klantenbase gehaald moeten worden, of het kan zijn dat de orderwaarde omhoog moet, dus dat de klant wat meer uitgeeft dan dat hij of zij normaal zou doen. Maar wij proberen de bedrijven ook te leren hoe ze zelf op de juiste manier naar hun data kunnen kijken.
Websites zijn er vaak in allerlei soorten en maten. Hoeveel invloed heeft de kwaliteit van een site op jullie werkzaamheden?
We hebben ooit een klant gehad, waarbij we het advies hebben gegeven om eerst de website een redesign te geven. Daarna zouden wij het dan overnemen. Als de website echt slecht is, dan kun je wel gaan optimaliseren maar dat heeft niet veel zin. Dan bereik je meer door opnieuw te beginnen. Daarnaast moet je systeem ook een bepaalde snelheid hebben en van de nieuwste technieken voorzien zijn wil je goed kunnen testen. De kwaliteit van een site heeft dus zeker wel invloed op onze werkzaamheden.
Je gaf net aan dat mensen soms niet geloven in de uitkomsten van jullie testen. Is het ook wel eens zo dat er dingen misgaan of dat er bijvoorbeeld sprake is van een false-positive?
Bij een andere test voor Eurail hadden we gekozen om op de productpagina een nieuwe knop toe te voegen met als doel ervoor te zorgen dat mensen zekerder zijn van hun keuze voordat ze een aankoop doen. Op de knop stond de vraag: ‘How many travel days do I need?’. Maar na vier weken testen bleek dat er veel minder conversies waren. Voordat je aan een test begint voorspel je wel eens iets, wat er goed of slecht kan gaan, maar dat effect hadden we niet verwacht. De vraag die de knop stelde was geen heel schokkende vraag, het was tenslotte de meest gestelde vraag bij de klantenservice. Waarom zouden mensen in een keer bang worden van die vraag? Toen bleek uiteindelijk dat er een technische storing werd veroorzaakt als mensen op de knop klikten waardoor een groot deel van de links op de site het niet meer deden. Dat soort dingen kunnen dus ook gebeuren.
Waar ligt volgens jou de toekomst van A/B testing?
Ik denk dat we veel meer gaan werken met Machine Learning. Maar daar zijn we nog heel ver vandaan. Er zijn wel bedrijven die er al mee bezig zijn, maar ik heb het idee dat er nog niet veel gebruik van wordt gemaakt. Ik denk daarnaast dat zoiets vooral nog voor de echte grote bedrijven is weggelegd vanwege de kosten, dus voor een Booking.com, een Google en een Amazon. Ik denk ook niet dat iedereen zomaar de kennis heeft om er goed mee te kunnen werken. Er zit volgens mij ook nog een stap tussen. Er valt bijvoorbeeld nog veel winst te halen in het A/B testen van apps. Dat wordt nu nog maar weinig toegelaten door Apple en Google, maar als je ziet hoeveel minder desktop gebruikers er zijn en hoe snel het aantal mobiele gebruikers stijgt dan zie ik daar nog veel mogelijkheden.
Op welke manier heeft die verschuiving invloed op A/B testen?
Sowieso liggen de conversieratio’s veel lager op mobiel. Dus als een website bijvoorbeeld 5% conversie ratio heeft. Dan heeft de tablet 3%, en de mobiel ligt vaak tussen de 0.5 en 1%. Maar je ziet wel dat het verkeer steeds meer toeneemt op mobiel. Steeds minder mensen hebben een laptop of een computer en steeds meer mensen hebben een tablet. Daarnaast gebruiken we natuurlijk onze vingers in plaats van een muis of een toetsenbord. En dat is ook nog een hele leercurve waar we in de toekomst nog veel mee te maken gaan hebben.
