Opzetten van een succesvol CRO-programma bij Hallmark

Toen Hallmark en Online Dialogue in 2019 begonnen met samenwerken stond hun CRO-programma nog in de kinderschoenen. Er was net een conversie specialist aangenomen om dit op te zetten en experimenten werden nog nauwelijks uitgevoerd. 

Een jaar later zijn enorme stappen gezet op het gebied van conversie optimalisatie. Nu worden er twee tot drie experimenten per week opgestart en daarbij zitten mooie winnaars die ook nog eens snel geïmplementeerd worden. Daarnaast is de organisatie enthousiast gemaakt voor CRO en worden er vanuit verschillende afdelingen ideeën ingediend.

Graag laten we zien hoe bij Hallmark in een jaar een CRO-programma is opgezet. We hebben Lisanne van de Weijgert (CRO-specialist bij Hallmark) hierover een aantal vragen gesteld en naar de belangrijkste onderdelen gekeken die hebben gezorgd voor het opzetten van een cultuur van valideren en experimenteren.

Strategie en proces

Naast dat het proces in zijn geheel moest worden opgezet, was het doel om vanaf het begin de hele organisatie te betrekken bij het CRO proces en ze uit te leggen waarom het zo belangrijk is om te experimenteren. Het is namelijk nog niet zo gemakkelijk om collega’s te overtuigen van experiment-gedreven werken, omdat dit om een andere mindset vraagt. Voordat je begint is het belangrijk om enthousiasme te creëren en collega’s inzicht te geven in het positieve effect dat het op hun werk gaat hebben.

Lisanne:
“In het begin kregen we als CRO-team veel weerstand. Begrijpelijk, want plotseling zijn A/B-testresultaten leidend voor veranderingen op de website en niet meer de standpunten van de voormalige besluitvormers. Kritiek was voor ons een kans om het gesprek over het belang van CRO en het centraal stellen van de klant te beginnen.” 

Volgens Lisanne zijn we binnen CRO in ons handelen en communiceren erg geneigd om ons te focussen op de ‘what’ en ‘how’ (golden circle van Simon Sinek). Dit zijn allerlei inhoudelijke redenen, terwijl dit vaak niet de juiste methode is om collega’s binnen je organisatie te overtuigen. De ‘why’ is veel belangrijker. Dit zorgt dat je in gesprek komt en onderzoekt hoe je elkaar kan helpen. Dus ga in een gesprek niet in op wat en hoe je aan het testen bent, maar vertel waarom je aan het testen bent en hoe dit het hogere doel ten goede komt. Probeer goed te luisteren naar beweegredenen van je collega’s, welke doelen zij hebben en hoe CRO hierop kan aansluiten. 

Lisanne:
“Het was erg belangrijk om discussies over  het doel van A/B-testen in de juiste context te hebben. Gesprekken over de details van een test hadden we pas als de test was afgelopen, zodat we een gefundeerde discussie konden voeren op basis van resultaten.”

Collega’s overtuigen van datagedreven werken

Om collega’s te enthousiasmeren hebben ze bij Hallmark intern onder ander een ‘Ik-weet-het-beter-bus’ geïntroduceerd. Deze benaming is een knipoog naar iedereen die denkt te weten hoe het beter kan en dit initiatief nodigt uit om het CRO team te vertellen hoe ze de website nog beter kunnen maken. Op deze manier werden meer ideeën gedeeld en getest en zo kwamen ook allerlei expertises aan bod. Door alle ideeën op één plek te verzamelen en terugkoppeling te geven naar iedereen is een gestructureerd proces neergezet en voelt iedereen zich gehoord. Het aandragen van ideeën is een ideaal moment om een gesprek aan te gaan over hoe je elkaar kan helpen. Ook scheelt dit veel tijd aan meeten en discussiëren over gewenste verbeteringen en het stelt de klant centraal in de besluitvorming.

Om de betrokkenheid van collega’s te vergroten worden A/B-testen gedeeld tijdens afdeling meetings, zowel winnaars als verliezers. Van beide zijn de learnings erg interessant en hiermee lieten ze vanaf het begin zien dat niet alles wat je bedenkt een positief resultaat heeft. De focus lag hierbij niet op de extra omzet of de uplift, maar had met name als doel om in gesprek te komen met collega’s en te laten zien hoe verrassend resultaten uit experimenten kunnen zijn. Wat er met name geleerd werd, is dat het heel lastig is om vooraf te voorspellen wat wel of niet werkt.  

Lisanne:
“Door te luisteren en de input van collega’s te gebruiken is er vertrouwen gekomen dat we als CRO-team de juiste beslissingen te nemen voor onze klanten. Dit versnelde uiteindelijk het proces voor iedereen om hun ideeën te laten testen en implementeren. Naast dat we naar de onze klant luisteren, helpen we ook collega’s om betere (data gedreven) beslissingen te nemen in hun werk”

Omgaan met weerstand 

Verandering zorgt vaak voor weerstand. In een organisatie waar CRO nog op een laag pitje staat, is de omschakeling naar datagedreven werken erg groot. De tip van Lisanne is om te zoeken naar de early adopters voor CRO binnen de afdeling of organisatie. Dit zijn de mensen die experiment-gedreven werken omarmen, interessant vinden en je uiteindelijk kunnen helpen om het verder je organisatie in te krijgen. Als je dit alleen moet doen, kost het veel meer tijd en energie. Verdeel daarom je energie slim en focus je op mensen die al enthousiast zijn en kijk hierbij verder dan je eigen team en afdeling. Met een aantal early adopters kan CRO zich als een olievlek verspreiden en maak je sneller stappen. Bij Hallmark hadden ze een aantal manieren om deze early adopters te vinden.

Lisanne:
“Door early adopters te vinden en je te focussen op het betrekken van hen in plaats van je te concentreren op mensen met weerstand, ontstond een situatie waarin collega’s vrijwillig betrokken werden bij het experimenteren en begonnen te zien hoe dit waarde kan toevoegen aan hun eigen werk.”

Voor het creëren van een datagedreven cultuur zijn er, naast early adopters, volgens Lisanne nog een aantal dingen nodig. Het is van enorm belang dat er geloof van bovenaf is. Dat je werkt in een omgeving waarin je mag falen, maar als je faalt snel laat zien dat je leert. En heb geduld. Het gaat je niet lukken om iedereen binnen een aantal maanden mee te krijgen. Focus je op de lange termijn.

Lisanne:
“Heb vooral lef om experimenten uit te voeren zonder van iedereen goedkeuring te vragen. Communiceer het als iets tijdelijks wat ten goede komt van de bedrijfsdoelen en waardoor je meer te weten komt over de impact die een verandering heeft. Voor een definitieve implementatie kan een gesprek met stakeholders pas gevoerd worden op het moment dat je daadwerkelijk de resultaten hebt.

Development centraal

Zodra ze bij Hallmark begonnen met experimenteren, werd een front-end developer aan het CRO-team toegevoegd. Niet alleen om testen te bouwen, maar ook om de CRO-mentaliteit bij andere developers te stimuleren. Zo leerde hij andere developers om met de testtool te werken. Dit zorgde voor meer begrip bij het bouwen van testen en resulteerde in een continue stroom van optimalisaties.

Daarnaast is deze front-end developer ook betrokken bij het implementeren van winnende testen. Bij een positief resultaat implementeert hij de test gelijk in samenwerking met de andere developers. Hij is de spil tussen het CRO en het scrum team. In veel organisaties werken deze twee teams langs elkaar heen, binnen Hallmark wordt echt samengewerkt en is de rol front-end developer cruciaal.

Lisanne:
“We begonnen met het testen van items die op de huidige backlog stonden die impact konden hebben op conversie, om draagvlak te creëren en het development proces niet te vertragen. Hiermee konden we al de toegevoegde waarde aantonen van CRO, omdat er een aantal verliezers tussen zaten welke we anders zonder te testen zouden hebben doorgevoerd.”

Er was bij Hallmark een duidelijke overgang van het testen van de development backlog (waarbij ze moesten oppassen met het vertragen van het huidige proces) naar een situatie waarbij ze elk nieuw idee valideren voordat ze het naar development sturen. 

Lisanne:
“We hebben allerlei scenario’s meegemaakt: 

• Experimenten uitgevoerd waar mensen het niet mee eens waren en bijna eisten dat we deze stopten.
• Experimenten die we vier keer opnieuw moesten starten vanwege bugs en waarbij het winkelwagentje stopte met werken. 
• Experimenten waar mensen het niet mee eens waren omdat het niet overeenkwam met onze merkidentiteit. 
• En nog veel meer scenario’s…

Het weerhield ons er nooit van om door te gaan, te blijven verbeteren, te blijven experimenteren en nu zijn we 100 A/B-testen verder!”

Samenwerking met Online Dialogue

Het begin van de samenwerking tussen Hallmark en Online Dialogue stond in het teken van het opzetten van het proces. Een analytics check is hier onderdeel van om te kijken of de data betrouwbaar was, analytics goed is ingericht en of metingen ontbraken. Daarna hebben we gekeken waar we het beste kunnen testen aan de hand van een impact analyse. Zo hebben we achterhaald op welke pagina’s Hallmark het meeste effect kon behalen en hoelang de A/B-testen moesten draaien. Nadat alle metingen goed stonden ingesteld is  een gedragsstudie uitgevoerd en het volledige proces opgezet in Airtable, met een wekelijkse meeting waarin de resultaten van afgeronde testen, de testen in het proces en nieuwe ideeën worden besproken. In het begin lag de focus op het proces neerzetten en was het doel om elke week 1 tot 2 testen op te starten. 

Binnen een aantal maanden is het volledig proces opgezet en werden de eerste resultaten behaald. De volgende stap was om de organisatie mee te nemen en de ideeën die daar leven te valideren. Via een formulier binnen Airtable kwamen alle ideeën daar binnen en werd er zoveel mogelijk gevalideerd. Ook ‘minder’ goede ideeën werden getest, om zo de organisatie te leren wat de impact is van een idee en dat niet alles altijd werkt. De cultuur binnen de organisatie is nu zo veranderd, dat alle afdelingen met een idee eerst naar het CRO team komen om het te laten valideren. Een jaar terug werd dit gewoon doorgevoerd of werd er nog veel gebaseerd op meningen of door hippo’s bepaald.

Lisanne: 
“We hebben een aantal bureaus benaderd om met ons samen te werken om CRO binnen Hallmark neer te zetten. Online Dialogue kwam hier met stip uit als onze favoriet, omdat we geen operationele, maar echt strategische partner zochten. Hierin werden we overtuigd dat Online Dialogue heel goed weet wat er speelt in de markt, dat zij zelfs de markt bepalen en dat kennisdeling hierin centraal staat. In het aankoopproces van onze klant speelt emotie een belangrijke rol. Als we echt goed wilden worden in CRO, dan moesten we verder gaan dan alleen een testproces neerzetten. De psychologische achtergrond van Online Dialogue sprak ons daarom erg aan. We wilden echt ons klantgedrag begrijpen in plaats van het alleen beïnvloeden. Van deze keuze hebben we overigens nooit een seconde spijt gehad.”  

In 2020 was het tijd voor de volgende stap en zijn we samen met Hallmark alle testen gaan labellen en opstarten volgens ons model.

Online Dialogue heeft een methode ontwikkeld die je helpt om een gestructureerd A/B-testprogramma op te zetten. De Behavioral Online Optimization Method, ofwel BOOM, is ontstaan door psychologie te combineren met de resultaten van meer dan 1000 A/B-testen die we de afgelopen 10 jaar hebben uitgevoerd. 

In een jaar tijd hebben we het bij Hallmark voor elkaar gekregen om steeds meer testen per week op te zetten. Hoe meer testen we doen, hoe meer inzichten we uit onze testresultaten kunnen halen. Door alle testresultaten te combineren zijn we steeds beter in staat om de diepere betekenis achter het gedrag van de Hallmark-bezoeker te begrijpen. BOOM beschrijft vijf optimalisatie strategieën die een bewezen effect hebben op het gedrag van websitebezoekers. Door middel van BOOM zijn we in staat om onze testinzichten naar een hoger niveau te tillen en kunnen we uitspraken doen over het gedrag van de bezoeker gedurende de volledige customer journey. 

Terugkijkend naar het afgelopen jaar zie je dat we zijn begonnen met Ability (BOOM strategie) experimenten. Dit is heel logisch omdat we vaak beginnen met testen die invloed hebben op de usability van de website. Nu we verder zijn en meer experimenten starten op basis van psychologie, komen we erachter dat Choice Architecture en Motivation belangrijke bepalers van gedrag zijn. Door middel van psychologie zijn we veel beter in staat om onze testresultaten te verklaren en inzicht te verkrijgen in waarom een test wel of niet heeft gewerkt.

Lisanne: 
“Het begon allemaal met het opzetten van een proces. Dit was belangrijk om structuur te creëren en voor de lange termijn overzicht te bewaren. Project lead Tom heeft hier een groot aandeel in gehad, zodat het voor ons heel inzichtelijk werd welke stappen er genomen moesten worden en wat ieders rol hierin is. Anouk, de analist van OD, heeft vervolgens gezorgd dat het doormeten van testen en resultaten goed en betrouwbaar gebeurd zodat we hierop voort konden bouwen. Roos, de gedragsexpert, is later aangehaakt om patronen in het gedrag te kunnen ontdekken en analyseren waarom testwinnaars winnen en waarom verliezers niet werken zoals we verwacht hadden. De dynamiek binnen onze samenwerking is echt onze kracht. We kunnen met elkaar lachen en tegelijkertijd felle discussies voeren. OD houdt ons altijd scherp op de belangrijkste KPI’s die we met elkaar hebben bepaald, zodat wij ons kunnen richten op de uitdagingen intern. Wekelijks bij elkaar over de vloer komen is hierin belangrijk geweest, omdat je zo de teamspirit opbouwt en echt een partnership creëert die naar een lange termijn visie toewerkt in plaats van taken voor elkaar uitvoert om op korte termijn resultaten te behalen.”