Wims open brief
Is 21minuten.nl statistisch gezien goed?
Open brief aan Wiebe Draijer (McKinsey & Company), Alexander Rinnooy Kan (SER) en Paul Schnabel (SCP) over de onderzoeksmethode van 21minuten.nl
  
Geachte heer Draijer, geachte heer Rinnooy Kan, geachte heer Schnabel,
 
Onlangs heeft u in de media veel aandacht gehad met het internetonderzoek van 21minuten.nl. Op deze website zijn honderdduizend enquêtes ingevuld door mensen die zichzelf geselecteerd hebben. Nu is bekend dat zo'n 'zelfselecte' steekproef een groot risico op vertekeningen heeft. In het algemeen is zo'n steekproef immers geen doorsnee van de bevolking. Door rekenwerk te doen, de technische term hiervoor is het 'herwegen van de data', meent u dat uw herwogen zelfselecte steekproef toch een goed beeld geeft. U gebruikt voor de herweging een kleinere steekproef, een internetpanel van 5.600 mensen die ook de vragenlijst van 21minuten.nl hebben ingevuld. Op internet gaat het gerucht dat uw methode is gebaseerd op een idee van Nobelprijswinnaar Daniel McFadden.
 
U schrijft dat u het grootste opinieonderzoek van Nederland heeft uitgevoerd. Maar groot is in de statistiek niet per se goed. In Amerika is in 1936 een onderzoek gehouden waarbij meer dan 2 miljoen mensen ondervraagd werden. Veel meer dus dan in uw onderzoek dat 0,1 miljoen ingevulde vragenlijsten had. Dit Amerikaanse onderzoek, de Literary Digest presidential poll, is beroemd geworden als voorbeeld van een groot maar slecht onderzoek.
 
Mijn eerste vraag aan u is: kunt u uitleggen waarom u denkt dat uw methode statistisch gezien goed is? Uitleg is nodig omdat u onbedoeld studenten in de war kunt brengen. Die leren in colleges statistiek dat het bij steekproeven niet primair gaat om een grote steekproef, maar om een goede, bijvoorbeeld een aselecte, steekproef. Een zelfselecte steekproef is over het algemeen een slechte steekproef. Waarom denkt u dat uw methode, die bestaat uit het herwegen van een zelfselecte steekproef, statistisch gezien goed is?
 
Mijn tweede vraag aan u is: is het een idee om de uitkomsten van beide steekproeven naast elkaar te zetten? U heeft twee steekproeven ondervraagd, een grote zelfselecte steekproef die zonder herweging mogelijk niet representatief is, en een kleine steekproef die naar u schrijft wel representatief is. In plaats van de kleine steekproef te gebruiken voor het herwegen van de grote is het misschien aardig om de uitkomsten te vergelijken. Dan kunnen we de verschillen zien. Is het naast elkaar laten zien van de uitkomsten uit uw twee steekproeven niet een beter idee dan herwegen?
 
Als u in gewone mensentaal een uitleg kunt geven, dan zou dat zeer prettig zijn. U heeft dan wel geen Nobelprijs, of moet ik zeggen nog geen Nobelprijs, maar u heeft wel de gave des woords (Wiebe), wiskundig inzicht (Alexander) en verstand van opinieonderzoek (Paul). Ik heb er alle vertrouwen in dat u met zijn drieën de bovenstaande twee vragen kunt beantwoorden.
 
Met vriendelijke groet,
Wim van Leeuwen, sociaal-wetenschappelijk onderzoeker, Amsterdam
 
De bovenstaande open brief is op donderdag 15 november 2007 op internet geplaatst. De brief is ook gepubliceerd op bladzijde 28 van aflevering 2007 nr. 4 van STAtOR, een vakblad van de Vereniging voor Statistiek en Operationele Research.
 
Donderdag 15 november 2007 (c) Wim van Leeuwen, Amsterdam
Links bij: Is 21minuten.nl statistisch gezien goed?
Onderzoeksrecensent.nl