Wat een Texaanse 'scherpschutter' me leert over lean innovation...

"Is het echt wel nodig om 3 soorten interviews te doen? Ik kan er toch gerust 2 combineren." Aan het woord een gemotiveerde starter die net ingewijd is in de lean methodologie. We hebben net uitvoerig gediscussieerd over het nut van een eerste interview gericht op het achterhalen van de uitdagingen waarmee zijn potentiële klanten worstelen ('problem interview' zoals Ash Maurya het noemt). Met de resultaten van die interviews kan je dan aan de slag gaan om je vooraf geformuleerde hypotheses te valideren en om een eerste geschikte oplossing uit te werken. Die moet vervolgens terug getoetst worden in een 2de gespreksronde. Je steekt daar dus best wat tijd in, maar ze combineren is absoluut af te raden of je valt in de valkuil van de Texas sharpshooter...

Een Texaanse grapjas schoot (of wat dacht je) lukraak wat kogels in een muur om vervolgens een 'roos' te tekenen in het midden van de cluster met de meeste inslagen en noemde zich vervolgens een scherpschutter. Mooie fabel die echter nogal wat impact heeft in veel wetenschappelijk onderzoek. In wetenschappelijke kringen komt het erop neer dat je hypotheses formuleert na het bekijken van data en niet vooraf. In het tweede geval zouden de data de hypothese immers kunnen bekrachtigen of ontkrachten. Door echter de hypothese te maken op basis van de data zelf, vervalt de validatie. Dat betekent dat een set nieuwe data moeten worden gegenereerd (gebruikt) om een correcte validatie te doen. Het lijkt vanzelfsprekend, maar er zijn nogal wat voorbeelden waar die basisregel met de voeten wordt getreden. Een klassiek voorbeeld is onderzoek naar de impact van een externe factor, bv. een autostrade, hoogspanningslijn,.. op de gezondheid. Groepen van mensen worden jaren opgevolgd op een breed gamma aan verschillende ziektes. De kans dat binnen een groep een of andere ziekte meer voorkomt in vergelijking met een referentiegroep is ook, los van de externe factor, statistisch gezien niet verwaarloosbaar. Enkel het gebruiken van een referentiegroep is dus niet voldoende om betrouwbare uitspraken te doen. Enkel een bijkomende validatie met een nieuwe groep kan de reële impact van die externe factor duidelijk maken. Zeker in tijden van Big Data, waarbij ook datasets worden gebruikt om bv. trends en gedrag af te leiden, is de Texas Sharpshooter fallacy een kanjer van een valkuil. 

Het is niet anders bij het aanpassen van hypotheses door nieuwe inzichten uit de eerste interviews die je maakt bij de opstart van je bedrijf of uitwerking van een innovatieproject. Ook de aangepaste hypotheses verdienen verdere validatie. Meerdere gespreksrondes zijn dus nodig. Trouwens, zoals Fermi wijselijk zei: there are two possible outcomes. If the result confirms the hypothesis, then you've made a measurement. If the result is contrary to the hypothesis, then you've made a discovery. Leren van je klanten: verloren tijd is het nooit...