Bias als valkuil bij innovatie...

Misschien is het u ook niet ontgaan dat Nederland de afgelopen week in de ban was van Diederik Stapel. Deze Hoogleraar aan de Universiteit van Tilburg werd onderwerp van een strafrechterlijk onderzoek door het gebruiken van fictieve onderzoeksresultaten. Uiteraard is zo'n hoogleraren korps ook maar een doorsnee van de maatschappij, al kan je ze natuurlijk moeilijk beschouwen als een representatieve steekproef voor die maatschappij. Een statisticus zou zeggen dat de statistische steekproef 'biased' of onzuiver is. En er bestaan nogal wat onzuiverheden in de statistiek.

In wetenschappelijk onderzoek is allicht de 'funding bias' de meest voorkomende. Onderzoekers kunnen geneigd zijn om bij het interpreteren van de resultaten van een onderzoek, de belangen van de sponsor van dat onderzoek te dienen. Je kan je wel afvragen of dat in het geval van Diederik Stapel aan de orde was. Of het moet zijn dat zijn onderzoek 'waarom zijn katholieken creatiever dan protestanten?' door Benedictus zelf werd gesponsord. Ik stel me dan meteen zo'n brainstorm voor in de Vaticaanse catacomben waarbij ideeën worden gegenereerd om nieuwe doelgroepen aan te trekken. "Misschien moeten we de creatieve sector aan boord trekken?" "Goed idee, even een studie bestellen die aantoont dat we een creatieve club zijn."

Zo'n 'funding bias' is ook niet bepaald zonder risico bij innovatieprojecten binnen bedrijven. Hoewel sponsor en uitvoerder daar vaak dezelfde entiteit zijn, worden resultaten die de eigen uitgestippelde roadmap of strategie tegenspreken, soms met de mantel der vergetelheid bedekt. Dat resulteert vaak ook in een 'analytische bias' waarbij testresultaten met een prototype die afwijken van de verwachtingen worden toegekend aan meetfouten of een verkeerde testuitvoering.

En die 'onzuiverheden' spelen bedrijven niet alleen parten bij technische ontwikkelingen. Neem nu marktonderzoek. 'Selection bias'  is nooit ver weg. Vraag aan sommige starters of ze al contact hebben gehad met mogelijke klanten, dan blijkt dat alle reacties positief waren. Laat ons afspreken dat in dergelijk geval allicht sprake is van een slecht gekozen populatie. Zo'n 'selection bias' is trouwens ook vaak bij innovatieprojecten in grotere bedrijven een kanjer van een valkuil om het stopzetten van een project of een exit uit een business uit te stellen.  Over vormen van confabulatie die daarbij spelen hadden we hier al eerder.

In nogal wat businessmodellen is het gebruiken van data, de kern van het model aan het worden. Ook al bent u geen data-specialist, allicht hebt u ergens de term Big Data al eens horen vliegen. Als de data zelf voorwerp worden van het verdienmodel wordt het pas echt tricky. De Engelsen hebben daar een mooie term voor: de 'data-snooping bias'. Kort gezegd  komt het er  op neer dat door een verkeerd gebruik van data mining technieken misleidende relaties in datasets kunnen blootgelegd worden. Klassiek voorbeeld is dat als je van 2 personen die op dezelfde dag jarig zijn maar voldoende andere data hebt, je allicht nog gelijkenissen zal vinden. De geboortedatum zou dan gekoppeld kunnen worden aan die andere gelijkenissen. De conclusie dan al snel dat wie geboren is op 3 maart, meer kans heeft om volhardend te zijn. Astrologen zouden er zowaar hun voordeel mee kunnen doen.

Nog even terug naar Diederik Stapel. Nieuwe ontwikkelingen in data mining maken het mogelijk om onderzoeksresultaten sneller te onderzoeken op inconsistenties. Of hoe innovatie uiteindelijk toch weer bijdraagt tot een ethischer wereld...