Wat Bordeauxwijn mij leert over innovatie...

Hoe je neem je beslissingen: eerder rationeel of intuïtief. Het kon één van de meer dan 100 vragen zijn van een test die ik recent deed om in te schatten hoe creatief en innovatief ik was. Het aantal testen om je persoonlijkheid en skills te testen is niet bij te houden. En ze zijn allemaal uiteraard wetenschappelijk onderbouwd. In essentie zijn dergelijke testen nuttig. Ze spelen in op bovenstaande vraag: proberen om beslissingen, ook van experten, een rationeler karakter te geven.

De Amerikaanse psycholoog Paul Meehl beschreef al in 1954 in zijn boek 'Clinical versus Statistical Prediction: A theoretical analysis and a review of the evidence' vergelijkend onderzoek tussen experten en statistische algoritmes.  Hij liet een populatie studieadviseurs gesprekken van 45 minuten doen met eerstejaarsstudenten op de universiteit en gaf ze toegang tot hun resultaten in het middelbaar, diverse persoonlijkheidstests en een zelf geschreven opstel. Op basis daarvan vroeg hij hun inschatting naar de studenten hun eindcijfer dat jaar. Anderzijds gebruikte hij een eenvoudig algoritme dat slechts een fractie van die informatie gebruikte (de resultaten van het middelbaar + één persoonlijkheidstest) om zelf een voorspelling te doen. In ruim 75% van de gevallen was de voorspelling van het algoritme beter.  Latere onderzoeken in andere domeinen (bv. recidive, levensduur,...) blijven illustreren dat algoritmen vaak beter scoren. Een bekend algoritme is dat van de econoom en wijnliefhebber Ashenfelter voor de kwaliteit (en dus prijs) van Bordeauxwijnen: Wijnkwaliteit = 12.145 + 0.00117*(winterse regelval) + 0.0614 (gemiddeld temperatuur groeiseizoen) - 0.00386 (regenval herfst). Hij kan met deze formule direct bij het oogsten de kwaliteit van de wijn voorspellen, terwijl wijnkenners dat pas kunnen maanden tot zelfs jaren na de oogst. De correlatie tussen zijn voorspelling en de reële prijzen was 0,90.

Ook experten zijn overwegend inconsistent in het samenvatten van complexe informatie. Herhaalde testen tonen aan dat experten met dezelfde informatie vaak tot een verschillend eindoordeel komen. Volgens Daniel Kahneman resulteert dit uit de sterke impact op de gemaakte conclusies van niet-opgemerkte prikkels in de omgeving. Experten denken dat ze een rationele analyse maken, maar de intuïtie sluipt ongemerkt binnen.
Maar theoretische modellen hebben ook hun beperkingen. Vaak zijn ze gebaseerd op meervoudige regressie. Het resultaat is een massa vragen die de ondervraagde moet doorlopen. Probleem is dat die hoge complexiteit (hoeveelheid) de bevraagde verstrooit zodat de betrouwbaarheid van haar antwoorden daalt gedurende de test. De Amerikaanse psycholoog Dawes gaf in zijn artikel "The Robust Beauty of improper linear models in decision making' al aan dat ook hier geldt: keep it simple. Een mooi voorbeeld is de Apgar test die al eerder in de blog aan bod kwam. Complexe modellen lijken dus in dezelfde val te trappen als de individuele experten: ze willen teveel informatie en parameters in rekening brengen en verdrinken daardoor in de data.

Vraag is: hoe kan je deze inzichten waardevol maken binnen het innovatieproces zelf? Wie wat vertrouwd is met de Lean Start-up approach, zal het belang van het uitsluiten van intuïtie herkennen in het blok key-metrics. Het zijn die factoren die je tijdens het innovatieproces zal opvolgen om de voortgang te meten. Ook hier geldt dat het beter is om te focussen op één kritische parameter die je kort opvolgt in plaats van te verdrinken in een bos van parameters. In het laatste geval zal de intuïtie het immers overnemen bij het interpreteren van al die parameters (sommige positief, anderen negatief).Bij één parameter is dat niet mogelijk. Stel bv. dat je in de validatiefase (MVP) het succes van een eerste versie van een app wil meten, die in in principe dagelijks gebruikt moet worden, dan geraak je met het volgen van het percent dagelijks actieve gebruikers al ver. Als 100% van je gebruikers dagelijks de app gebruikt, lijkt die toch wel goed in te spelen op hun noden: hier geen speelruimte voor intuïtie.

Wil je toch werken met een paar key metrics, definieer dan best direct de achterliggende formule op basis waarvan je voortgang zal meten. Het succes van een app kan je bv. in de groeifase periodiek meten op basis van 'aantal nieuwe betalende klanten - aantal betalende klanten dat afhaakt'. Ook hier is er geen ruimte voor een verdraaiing van de werkelijkheid op basis van intuïtie. Op het moment dat de meetwaarde daalt, kan je wel meer in detail onderliggende parameters gaan analyseren.

Wat de bovenvermelde innovatietest betrof. Ik vulde ze in met in mijn achterhoofd de lean start-up approach. Snelle interactie met de markt om maximale afstemming te hebben van in de beginfase. De makers van de wat uit de kluiten gewassen test hadden duidelijk andere ideeën over de beste innovatie-aanpak. Niks mis mee: die aanpak kan ook verschillen naargelang de context. De analyseresultaten van zo'n zelftesten liggen daardoor niet toevallig nogal eens uit mekaar.   Maar de studie van Dawes indachtig, zou ik de makers toch adviseren om het aantal vragen te herleiden naar 10. Zoals een ongetwijfeld wijs mens ooit al zei: 'Eenvoud is een grote deugd maar het vereist hard werk en kennis om het te bereiken. En om het nog erger te maken: 'complexiteit verkoopt soms beter'...toch even...