Afgelopen donderdag – 3 juni – was de drukst bezochte Dialogue Donderdag die we ooit hebben gehad. Het thema deze editie was ‘Hoe combineer je CRO en personalisatie?’. Een populair onderwerp en dat bleek: we hadden meer dan 160 aanmeldingen van deze virtuele editie van ons eigen kennisevent!
Voor de 36e Dialogue Donderdag hebben we Eddy van der Sman van T-Mobile en Dennis van der Voorn van de Bijenkorf uitgenodigd om inzicht te geven in personalisatie en hoe zij dit toepassen. Online Dialogue’s conversie manager Desiree van der Horst trapte de middag af.
A/Beer before wine, you will personally be fine
Wanneer begin je met personaliseren? Hoe moet je het aanpakken in combinatie met A/B-testen? Met bier en wijn als metafoor vertelde Desiree van der Horst over haar ervaringen rondom personalisatie.
A/B-testen en personalisatie. Ze lijken heel ver uit elkaar te liggen. Waar A/B-testen gaat over het optimaliseren voor de grote groep, is personalisatie gericht op een klein segment of zelfs een individu.
Personalisatie is het aanbieden van verschillende versies van je platform op maat gemaakt voor de verschillende interesses van je publiek en individuen.
Terug naar de drank: er zijn bierdrinkers en wijndrinkers. Hoe stel je beiden tevreden? Stap je als bierdrinker over op wijn als het bier op is? Persoonlijke voorkeur lijkt minder de overhand te nemen en de context des te meer. Maar wijn drinken in de kroeg? Desiree bedankt vriendelijk.
Het aantal wijndrinkers komt in de bevolking steeds meer in de buurt van het aantal bierdrinkers. Zoekdata laat zien dat de interesse voor CDP (personalisatie) ook steeds meer in de buurt komt bij die voor A/B-testen. Net als bij drank zijn er meerdere smaken van personalisatie. Desiree onderscheidt twee vormen:
1. Rule based personalization: Je runt een A/B-test voor een specifiek segment en implementeert de winnende variant.
2. Predictive personalization: Een AI–tool test automatisch verschillende varianten voor elk individu. Dit is continu en de tool kan veranderingen in gedrag anticiperen.
TIP! Houd altijd in je achterhoofd: welk probleem moet ik oplossen?
Is personalisatie daar überhaupt wel het juiste middel voor?
Wanneer ben je er klaar voor?
Grootste reden dat veel personalisatie initiatieven mislukken is dat men er als kip zonder kop in duikt. Personaliseren is een proces, niet een kant en klare tool. Desiree doorloopt de volgende stappen in dit proces:
1. Welk probleem probeer je op te lossen? Moet je iets anders doen dan personaliseren?
2. Heb je de tijd ervoor? En kennis en mankracht?
3. Hoe ga je het succes meten? KPI?
4. Meet je de hele customer journey?
5. Klopt je data wel?
6. Ken je je publiek? Welke segmenten wil je targetten?
TIP! Weet waar je aan begint! Doe het goed of doe het niet: het kost véél tijd, moeite en kennis. What’s your gameplan?
Effectiviteit
Personalisatie werkt goed mits het goed is gedaan. De aangeboden content die je gepersonaliseerd aanbiedt moet van goede kwaliteit zijn. Hiervoor is een bepaalde maturity van je bedrijf vereist om te kunnen starten. Er zijn voor personalisatie andere tools en andere mensen nodig en je moet anders prioriteren en rapporteren. Hoe doe je dit in combinatie met A/B-testen? Uit A/B-tests kunnen we vooral inspiratie halen en met personalisatie kunnen we doorpakken.
TIP! Zowel A/B testing als personalisatie zijn middelen om een doel te bereiken.
Versterk en inspireer elkaar dan ook hiermee. Overkoepelende team members!
Moraal van het verhaal
Ga niet alles door elkaar doen! Je gaat ook niet allerlei drankjes door elkaar mixen, doe dit ook niet met personalisatie. Houd de volgende volgorde aan:
1. A/B tests
2. Rule based Personalisation
3. AI based Personalisation
Cheers!
Personalization @ T-mobile Netherlands
Eddy van der Sman is bij T-Mobile verantwoordelijk voor personalisatie. In een multidisciplinair team streven ze naar het leveren van een persoonlijke ervaring binnen alle digitale kanalen. Eddy vertelde over de omni-channel strategie die ze bouwen en de experimenteer-cultuur bij T-Mobile die dit mogelijk maakt.
A blurry line between beer and wine
Eddy is al 7 jaar bezig met personalisatie. T-Mobile gaf hem de tijd, technologie en prioriteit om ermee te starten en in de praktijk bleek het proces wel wat blurry. Hij omschrijft zichzelf als de kip zonder kop waar Desiree het over had: ongestructureerd begonnen met het toepassen van personalisatie en gaandeweg veel bijgeleerd.
De aanleiding: het plaatje van een iPhone op de T-Mobile website irriteerde hem mateloos. Dat moet beter kunnen, vond hij. Samen met het team dat hij had gevormd zijn ze allereerst gaan luisteren naar de klant. Waar liggen de grenzen tussen de verschillende type gebruikers en hoe kunnen we deze segmenteren?
Toen begon het daadwerkelijke experimenteren. Ze startten klein en gaandeweg leerden ze meer over wat wel of niet werkte bij personalisatie. Al snel deelden ze hun bevindingen ook met andere kanalen binnen T-Mobile, zoals de app of de e-mail.
Een aantal tips van Eddy voor het toepassen van personalisatie binnen je bedrijf:
TIP 1 Vertel het aan iedereen!
Het nauwe contact van Eddy met de klantenservice zorgde voor veel inzichten en was voor de klantenservice ook waardevol. Zet optimaliseren in je bedrijf op de kaart, zowel bij mensen die dicht bij je werkzaamheden betrokken zijn als verder weg. Vraag ze wat hun belangrijkste uitdaging is en waar personalisatie een uitkomst zou kunnen bieden.
TIP 2 Make it smarter
Bij T-Mobile is begonnen met personalisatie op basis van online gedrag maar je kan het ook koppelen aan andere data. Je weet van klanten meer dan alleen hun online gedrag. Deze kennis kun je meenemen in het voorspellen van het koopgedrag.
TIP 3 Gebruik dynamische content
Als je alle mogelijke productcombinaties van alle telefoon bij T-Mobile optelt, zijn het er 7000! Dit is niet alleen veel voor de klant, maar ook voor het gepersonaliseerd aanbieden van producten. Door een dynamische template te gebruiken bespaar je veel tijd en moeite (zie de tweede versie van deze afbeelding).
TIP 4 Personalisatie en care is een goede combinatie
De klantenservice afdeling kreeg veel verschillende telefoontjes die voorkomen konden worden. Welke klant belt waarom? Hierover werd kennis opgedaan en de FAQ werd dynamisch gemaakt. Door de FAQ aan te passen op de website verminderde het herhaalverkeer in het callcenter. Callcenter agents zijn zo geholpen door te personaliseren en ook klanten worden direct geholpen.
TIP 5 Verzamel de data, content en beslissingen op een centraal punt
Binnen T-Mobile had iedereen een eigen logica over wat klanten moesten zien op basis van allerlei verschillende bronnen. Hoe los je dit op?
Eddy bouwde met zijn team de Best Next Action (BNA) Orchestrator. Deze berekent real-time wat de beste volgende actie is en besluit wat aan welke klant wordt aangeboden voor een specifiek kanaal. Dit gebeurt op basis van vele interacties: er wordt geluisterd naar de klant en de feedback dient als input voor de voorspellingsmodellen van de BNA Orchestrator. De modellen geven een score voor de waarschijnlijkheid dat het product of de dienst gekocht zal worden en berekent de verwachte waarde van een aankoop.
Door een 360 graden beeld te creëren van de klant, kan met behulp van de BNA Orchestrator binnen enkele seconde ‘georchestreerd’ worden wat het best aan de klant aangeboden kan worden.
Bij T-Mobile wordt op de personalisatie initiatieven met veel enthousiasme gereageerd. Het is toepasbaar op verschillende plekken in het bedrijf en kan helpen in het oplossen van veel problemen. Zelf is Eddy het meest trots op de BNA Orchestrator, zijn advies luidt:
Personalisatie is een tool waar je anderen trots mee kan maken!
Personalisatie bij De Bijenkorf
Dennis van der Voorn sloot af met zijn kennis over het toepassen van personalisatie bij product recommendations: van experimenten naar main feature-data
Dennis werkt als data scientist in het personalisatie team van de Bijenkorf. In zijn verhaal vertelde hij hoe de Bijenkorf begonnen is met het experimenteren van gepersonaliseerde productaanbevelingen en hoe dit nu volledig geïmplementeerd is binnen meerdere kanalen.
Bij de Bijenkorf wordt personalisatie al een aantal jaren toegepast. De belangrijkste toepassing is voor product recommendations. Het bedrijf heeft een grote e-commerce afdeling met 250 werknemers in meerdere West-Europese landen. Hun missie: Bijenkorf is het meest inspirerende, verrassende, creatieve warenhuis waar iedereen zich bijzonder voelt.
Welke tool is beter dan personalisatie om te zorgen dat iedereen zich bijzonder voelt? Drie jaar geleden werd bij de Bijenkorf dan ook de personalisatiesquad gevormd, bestaande uit een aantal data-analisten en data-engineers. Toen werden al getriggerde e-mails verstuurd op basis van zoekgedrag en werden klanten gesegmenteerd op basis van fashion stijl.
Het eerste waar het nieuw gevormde team zich aan waagde waren productaanbevelingen. Dit is van groot belang in het faciliteren van de klant voor een warenhuis met zo’n groot aanbod, waar bovendien de missie is dat de klant zich speciaal voelt. In eerste instantie werden de aanbevelingen gebaseerd op producten die in dezelfde sessie bekeken werden. Voor elke SKU (Stock Keeping Unit) werden andere producten aanbevolen. Volgens Dennis had dit begin makkelijker gekund. Niet voor ieder product een unieke aanbeveling, maar: Houd je van jurken? Hier zijn nog meer jurken.
Er werd een model gebouwd waarmee het volgende product voorspeld zou moeten worden op basis van de voorgaande. Op basis van het combinatie-gedrag van de klanten werden de producten méér of minder zwaar meegerekend in de berekeningen van het model. Uit A/B-tests bleek dat er inderdaad een positief effect was van het tonen van de aanbevolen producten ten opzichte van populaire producten.
Maar het kon nog beter vonden Dennis en zijn team. In plaats van zich richten op losse producten, werd het doel om een overzicht te krijgen van het gedrag van de individuele klant. Hierdoor moesten ze manieren vinden om om te gaan met grote hoeveelheden data. Daarnaast werd het model in een groter perspectief geplaatst: ze gingen over naar een matrix factorization model en er werd meer business logica toegevoegd.
De belangrijkste les: Een model kan veel, maar niet alles. Business logica is minstens zo belangrijk wil je het model laten werken voor je bedrijf.
De A/B-testen om de effectiviteit van het model te meten werden eveneens uitgebreid. De beschikbare tools gaven geen perfecte verdeling van A en B, omdat er geen onderscheid werd gemaakt tussen mensen waar wel of waar geen data van beschikbaar was. Deze verdeling werd nu vanuit de data kant gemaakt. Het leverde een eigen A/B-test dashboard op waarin zowel indicatoren voor de korte- als de langetermijn bijgehouden worden.
Een belangrijke les als je veel aan het onderzoeken bent: Hoe meer analyse of statistische informatie je aan stakeholders geeft, hoe minder ze het resultaat gaan vertrouwen. Er werden zoveel variabelen meegenomen en hierdoor was het voor stakeholders niet meer duidelijk of er nog een stijgende lijn in zat.
Het model was ondertussen zo ver uitgebreid dat ze het konden toepassen op andere kanalen. Inmiddels draaien ze ook in de app, de e-mail en op Facebook. Dit allemaal met één model.
Architectuur
De datastromen werden steeds groter en hierdoor het model steeds trager. De oplossing vonden ze in de cloud: Google BigQuery. Het vormt nu de basis van het Customer Data Platform en de flow naar de website en andere kanalen werkt goed.
Grootste leerpunten van Dennis in het personalisatie proces:
Omgaan met website-functionaliteit performance
Om bepaalde personalisatie tools te kunnen gebruiken moet soms de caching uit worden gezet. Dit kan problemen opleveren in de website.
Juiste implementatie en validatie van output model
Hoe pas je het model toe, en hoe bepaal je of het ook echt werkt?
Opschalen en omgaan met grote hoeveelheden data
De juiste tools op de juiste manier gebruiken.
Zorgvuldigheid in het opzetten en analyseren van A/B-tests
Bij personalisatie zijn er andere dingen om op te letten dan bij reguliere A/B-tests.
Was je niet aanwezig of wil je meer weten over personalisatie?
Naar aanleiding van het grote enthousiasme rondom personalisatie organiseren we binnenkort een meetup. In deze meetup gaan we in een klein gezelschap (10-20 personen) dieper in op een aantal thema’s rondom personalisatie.
Inschrijven kan via deze link: Personalisatie meetup.
