De moeilijke methode van opinieonderzoek 21minuten.nl
Een onderzoeksrecensie van Wim van Leeuwen
U kent ze wel, die enquêtevragen op internet. Iedereen die er zin in heeft kan antwoord geven. Levert dat wetenschappelijk gezien iets interessants op? Vrijwel nooit. Je weet de mening van de invullers, maar meer ook niet. Zo'n zelfselecte steekproef geeft geen betrouwbaar beeld van de mening van alle Nederlanders, noch van alle internettende Nederlanders, noch van alle bezoekers van de website. Een zelfselecte steekproef is statistisch gezien een onding. De uitkomsten zijn niet generaliseerbaar. Toch wordt zo'n statistisch onding in het onderzoek op www.21minuten.nl gebruikt. En de onderzoekers claimen ook nog dat ze daarmee geloofwaardige uitkomsten verkregen hebben. Dat is ongewoon, en er is meer ongewoons. Een tweede merkwaardigheid is dat een hele stoet van bekende Nederlanders ons de afgelopen herfst opriep om de internetenquête in te vullen. Dat deden Agnes Jongerius (voorzitter FNV), Alexander Rinnooy Kan (voorzitter Sociaal Economische Raad) en Paul Schnabel (directeur Sociaal en Cultureel Planbureau). En ook Freek de Jonge, Ali B en Yvon Jaspers. En nog meer grote namen. Niet alle opinieonderzoeken hebben zo'n comité van aanbeveling! Een derde bijzonderheid is dat er een idee van een Nobelprijswinnaar achter zit. De methode is ontwikkeld in samenwerking met Daniel McFadden die in 2000 de Nobelprijs voor economie kreeg. Dat zijn spannende ingrediënten: een zelfselecte steekproef, bekende Nederlanders en een Nobelprijs. Alle reden dus om goed naar de verantwoording te kijken. Op voorhand lijken er maar twee mogelijkheden te zijn: ofwel er is een revolutionaire methode gevonden om van een zelfselecte steekproef een goede steekproef te maken, ofwel er is iets mis met 21minuten.nl. Het is het grootste opinieonderzoek van Nederland, zo is te lezen op de website. In 2007 is hier honderdduizend keer de vragenlijst ingevuld door mensen die zich daar om de een of andere reden toe geroepen voelden. Een invuller kon dat ook meerdere keren doen. De vragenlijst is trouwens niet kort. Het invullen kost ongeveer 21 minuten, vandaar de naam. Het thema was 'democratie en overheid'.
Twee onderzoeken
Uit de verantwoording blijkt dat er twee onderzoeken gehouden zijn. De vragenlijst van 21 minuten is niet alleen afgenomen aan een grote, zelfselecte en dus onbetrouwbare steekproef maar ook aan een kleine steekproef van 5.600 personen. Die kleine steekproef is volgens de onderzoekers representatief voor alle Nederlanders van 15 tot 70 jaar. Daar zijn vraagtekens bij te plaatsen, want het is een internetpanel, maar laten we er even van uitgaan dat de onderzoekers gelijk hebben en dat de kleine steekproef inderdaad een goede steekproef is. Dan hebben ze de uitkomsten dus al. De grote steekproef is helemaal niet meer nodig. De uitkomsten van het kleine onderzoek kunnen in het rapport gezet worden. Maar die makkelijke weg hebben de onderzoekers van 21minuten.nl niet gekozen. Ze hebben iets veel moeilijkers gedaan. Ze hebben sommige uitkomsten van het kleine onderzoek door middel van een rekenkundige methode genaamd weging getransplanteerd naar het grote onderzoek. Daarbij zijn veel, of misschien wel alle, uitkomsten van het grote onderzoek gewijzigd. De onderzoekers verkregen zo drie rijtjes uitkomsten: uit het kleine onderzoek, uit het ongewogen grote onderzoek en uit het gewogen grote onderzoek. Alleen dat laatste rijtje is in het rapport gezet. En daarmee ontstaat een probleem.
Onjuiste uitkomsten
De uitkomsten van het kleine representatieve onderzoek zijn onder de pet gehouden. Dit draagt niet bij aan de geloofwaardigheid van het rapport. Na weging van de gegevens van het grote zelfselecte onderzoek zijn er twee soorten uitkomsten denkbaar. Ten eerste kunnen sommige gewogen antwoordpercentages identiek zijn aan die van het kleine onderzoek. Volgens de logica van de onderzoekers zelf kunnen we dit juiste uitkomsten noemen, want het kleine onderzoek is volgens hen representatief. Ten tweede kunnen er gewogen uitkomsten zijn die ondanks de weging afwijken, of zelfs ver afwijken, van die van het kleine onderzoek. Dit zijn volgens dezelfde redenering onjuiste uitkomsten. Als die in het rapport staan, dan zijn we onjuist ingelicht over de opinies van de Nederlandse bevolking. In hoeverre het rapport goed is weten we dus pas als de onderzoekers ook het rijtje uitkomsten uit het kleine onderzoek publiceren. In het belang van de wetenschap zouden ze dat alsnog moeten doen. Bekende Nederlanders, doe nu eens een aanbeveling aan uw eigen onderzoekers en vraag ze om opening van zaken te geven. Tot ze dat doen blijft er twijfel bestaan of de gerapporteerde uitkomsten wel juist zijn en moeten we aannemen dat de methode van de Nobelprijswinnaar statistisch gezien niet deugdelijk is.
Donderdag 20 maart 2008 (c) Wim van Leeuwen, Amsterdam
Onderzoeksrecensent.nl