Wims rode potlood
Statistische blunder van 21minuten.nl
Een commentaar van Wim van Leeuwen
 
Onbepaalbare marges toch uitrekenen
Onder de kop 'Representativiteit' leggen de onderzoekers van opinieonderzoek 21minuten.nl op summiere wijze verantwoording af over hun ongebruikelijke en onbewezen methode. Deze verantwoording laat helaas veel vragen open en bevat bovendien een aperte onjuistheid, en wel in de volgende zin:

"Door de grote omvang van de onlinesteekproef zijn de onzekerheidsmarges van de resultaten na weging klein."

Dit is eenvoudigweg onjuist. Er is een zelfselecte steekproef gebruikt, dat wil zeggen een steekproef van mensen die niet via een aselecte procedure geworven zijn maar die zichzelf geselecteerd hebben. De opinies van zo´n zelfselecte steekproef kunnen sterk afwijken van die van de gehele bevolking. Eén van de problemen van dit type steekproef is dat je géén onzekerheidsmarges kunt uitrekenen. Om dat te doen zou je de trekkingkans moeten kennen, dat wil zeggen de kans dat een Nederlander de vragenlijst invult. Die kans weet je niet. Statistisch gezien bestaan de onzekerheidsmarges van een zelfselecte steekproef niet. Je kunt niet zeggen dat de marges klein zijn en ook niet dat ze groot zijn, omdat ze domweg niet te bepalen zijn. Voor de gewogen data geldt hetzelfde. Na weging kunnen er ook geen betrouwbaarheidsintervallen worden bepaald, want je kent de trekkingskans nog steeds niet. Een zelfselecte steekproef verandert door weging niet opeens in een aselecte steekproef, dat moge duidelijk zijn. Maar de onderzoekers van 21minuten.nl denken deze onbestaande onzekerheidsmarges toch echt bepaald te hebben, want hun tekst vervolgt met:

"Vanwege de beperkte respons van bepaalde specifieke segmenten (bijvoorbeeld allochtonen), zijn de onzekerheidsmarges van de uitkomsten van deze segmenten groter. Waar deze onzekerheid te groot is, zijn de uitkomsten niet meegenomen in de conclusies van het onderzoek."

De verantwoording vermeldt niet hoe de marges bepaald zijn. Welke formules zijn er gebruikt?
 
Vergeetachtige onderzoekers
Bewijst de blunder dat de onderzoekers van 21minuten.nl de beginselen van de statistiek niet kennen? Nee. Het laat wel zien dat ze die even vergeten waren. En ze zijn ook vergeten dat ze de deugdelijkheid van hun methode nog moeten bewijzen. Zolang ze dat bewijs niet geleverd hebben, kunnen we aannemen dat hun methode statistisch gezien ondeugdelijk is.

Woensdag 2 april 2008 (c) Wim van Leeuwen, Amsterdam
Onderzoeksrecensent.nl