De groei van een bedrijf met data naar een data gedreven bedrijf is niet een stap maar een evolutie. Aleksander Fabijan bestudeerde dit bij Microsoft en formuleerde vier fasen om tot voortdurend experimenteren te komen. Een samenvatting van dit model door Ton Wesseling:
Aleksander Fabijan gaat dieper in op zijn model in een keynote en een workshop op Conversion Hotel 2018, Van 16 t/m 18 november op Texel
Crawl
Organisatorisch, technisch en bedrijfsmatig staat alles nog in de spreekwoordelijke kinderschoenen. Er is nog geen experimententeam, het is de datawetenschapper die een aantal experimenten zelfstandig uitvoert. Van handmatige implementatie tot handmatige analyse. Deze experimenten worden ook niet opgezet via een solide experimentenplatform. En de beoordeling van het resultaat van het experiment gebeurt op basis van een metric die per experiment nog wordt vastgesteld. Waarbij men vaak tegen datakwaliteitsproblemen aanloopt en productontwikkelingskeuzes binnen het bedrijf vooral nog gemaakt worden op basis van historische gedragsdata. Experimenten zijn louter nog showcases.
Walk
Er is een centraal experimententeam opgericht. Productteams zelf hebben echter nog geen vergaande kennis over experimenten, maar ontwikkelen wel zelf al de te toetsen varianten. Er is een stabiel extern of zelf ontwikkeld platform voor experimenten, waarbij de random verdeling goed op orde is. En er wordt gewerkt met A/A-toetsingen en degelijke power-calculaties voordat experimenten worden gestart. Als beoordelingscriterium wordt gebruikgemaakt van een vaste set van debug-, succes- en datakwaliteitmetingen. Experimenten vinden plaats op features (bijvoorbeeld formulier-ontwerp of website- performance). Experimentuitkomsten beginnen impact te krijgen op de release-planning van de productteams.
Run
De product teams hebben nu de verantwoordelijkheid over hun eigen experimenten. Van design tot monitoren en de beslissingen om te stoppen of op te schalen. Datawetenschappers van het centrale experimententeam zijn onderdeel van de productteams, zodat ze domeinexperts kunnen worden en experimenteren kunnen laten groeien binnen hun productteam. Het experimentenplatform dat wordt gebruikt, ondersteunt de opschaling in experimenten door alert-functies, de controle van carry-over effecten en experiment-iteratiesupport. De datakwaliteit is volledig op orde met een gevalideerd beoordelingscriterium en er is een geautomatiseerde analyse van experimenten. Experimenteren heeft impact op productkwaliteit en productcomplexiteit door nagenoeg elke nieuwe feature te toetsen.
Fly
Elk productteam heeft een eigen experimenteerexpert die samen een sterke eenheid vormen binnen de organisatie. Dit centrale experimententeam fungeert als een center of excellence binnen de organisatie. Alle veranderingen, zelfs bugfixes, worden als experiment gestart. Er wordt een intelligent platform gebruikt met real-time controles op interactie-effecten en schadelijke experimenten worden automatisch gestopt. De experimentenbeoordelingscrit eria zijn stabiel met slechts jaarlijkse wijzingen. Deze metrics worden ook gebruikt om de organisatie aan te sturen. Experimenteren zit in de DNA van de organisatie. Iedereen denkt bij elke ontwikkeling vanuit experimenteren. Van onder- tot bovenin de organisatie.
Ton Wesseling vult namens Online Dialogue iedere maand de terugkerende conversie-rubriek in Emerce magazine: het tijdschrift over “the next step in E-business”. Deze maand schreef hij over: De evolutie van continu experimenteren.
Klik op de afbeelding om deze te vergoten, of download hier de pdf.
Emerce Conversion Rubriek September 2018
