Ik ben de laatste tijd steeds vaker meningmoe. Dat betekent uiteraard niet dat ik ineens geen mening meer heb: ik heb heel vaak een mening en die deel ik ook regelmatig met anderen – bijvoorbeeld door blogs op internet te zetten. Wat ik bedoel is dat naar een journalistiek programma kijken steeds vaker hetzelfde is als langs Facebook of Twitter scrollen. Straatinterviewtje hier, opiniepeilinkje daar en tadaa: we hebben een item in elkaar geflanst. Nu is een opiniepeiling op zichzelf een goede methode om te achterhalen wat ‘de Nederlander’ denkt. Als je methode deugt. En die deugt vaak niet. Een goede opiniepeiling opzetten is zeker niet onmogelijk, als je maar begrijpt waar je mee bezig bent. George Gallup begreep wat hij deed en maakte van opinie peilen een vak. In 1936 werd hij in één klap beroemd toen hij bij de presidentsverkiezingen een overwinning voorspelde voor Franklin Roosevelt door 50.000 mensen te ondervragen, terwijl het zeer goed aangeschreven tijdschrift Literary Digest een overwinning voor de Republikein Alfred Landon voorspelde na 2,4 miljoen mensen te hebben ondervraagd. Maar hoewel de methode van Gallup goed was, bleken de uitkomsten wel degelijk manipuleerbaar en dat deden hij en zijn medewerkers dan ook met overtuiging.

George Gallup (1901-1984) was een mediaman in hart en nieren. Hij was de zoon van een melkveehouder in Iowa en bracht al op jonge leeftijd melk rond. Zijn salaris spaarde hij op en toen hij nog op school zat begon hij van dat geld al een eigen krant. Hij studeerde aan de Universiteit van Iowa en promoveerde in 1928 op een methode om te meten hoeveel mensen een krant lazen. Na zijn studie werd hij docent journalistiek aan verschillende universiteiten. In 1932 ging hij bij het reclamebureau Young & Rubicam werken, en zette daar een onderzoeksbureau op om onderzoek te doen naar welke reclame werkt en waarom. Datzelfde jaar werd zijn schoonmoeder Viola (Ola) Miller door de Democraten genomineerd om bestuurder te worden van de staat Iowa. Gallup, zelf lid van de Republikeinse Partij, voerde een opiniepeiling uit om te zien wat haar kansen waren en voorspelde die correct, hoewel de meeste mensen dachten dat ze kansloos was. Zijn interesse was gewekt. In 1935 richtte hij zijn eigen bedrijf op, the American Institute of Public Opinion en hij publiceerde in meerdere regionale kranten een column genaamd ‘America Speaks‘. Hij besefte al snel dat de vraag zeer belangrijk was. De eerste vraag die hij stelde in oktober 1935 was ‘Denkt u dat de overheidsuitgaven om de economische problemen aan te pakken te klein, te groot of precies goed zijn?’ Daarop antwoordde 60% ‘te groot’. Drie maanden later vroeg hij: ‘Bent u voor staatspensioenen voor arme senioren?’. Toen antwoordde 89% met ‘ja’. De verkiezingen waren, mede dankzij Gallup, de eerste waar opiniepeilingen zo’n grote rol speelden. Dat betekende niet dat journalisten daarvoor geen pogingen deden om de uitslag te voorspellen. The Literary Digest voorspelde de verkiezingsuitslag al sinds 1916 steeds goed via een straw poll, een soort schaduwverkiezing.

Nu kan alles wat mis kan gaan met een straw poll ook misgaan met een opiniepeiling: er is een dubbele foutmarge. De eerste is puur wiskundig: hoe nauwkeurig is je steekproef? Vaak zie je bijvoorbeeld bij een opiniepeiling over de fictieve zetelverdeling in de Tweede Kamer dat de peiling er 2 zetels naast kan zitten. De nauwkeurigheid is een wiskundige berekening. Even kort door de bocht: als je 50.000 van de 100 miljoen mensen vraagt of ze op kandidaat A of B stemmen kun je berekenen hoe groot de kans is dat al die andere mensen of op kandidaat A of op kandidaat B stemmen. De tweede foutmarge is problematischer: hoe betrouwbaar is je steekproef? Vandaag de dag worden veel opiniepeilingen via internet gehouden, heel leuk, maar je steekproef is meteen niet-representatief. Je bereikt ouderen, laag opgeleiden en allochtonen veel moeilijker en alleen de mensen die je website bezoeken en dus al geïnteresseerd zijn vullen hem in. Daarom heeft een poll van GeenStijl een totaal andere uitkomst dan één van de Volkskrant. The Literary Digest was ambitieus in 1936 en vroeg maar liefst 10 miljoen mensen om hun mening. Maar omdat hun methode om een representatieve steekproef te krijgen niet deugde, werd de betrouwbaarheid steeds lager. Op het eerste gezicht leek het alsof ze geweldig nauwkeurig te werk waren gegaan, maar er waren 2 grote problemen. De eerste was de selectie van de populatie. Daarvoor schreven ze mensen aan die in het telefoonboek stonden, mensen die een abonnement hadden op een tijdschrift en mensen die lid waren van een club of vereniging: allerlei openbare lijsten werden nagespeurd en op basis daarvan werd een adreslijst vastgesteld van mensen die daadwerkelijk stemgerechtigd was (Amerikanen boven de 21). In iedere provincie van iedere staat werden mensen aangeschreven: de stem van een agrariër uit Idaho, een zakenman uit New York, een predikant uit Louisiana en een timmerman uit Philadelphia telden allemaal mee. Veertig miljoen mensen waren in 1936 stemgerechtigd en dat betekende dat ze 1 op de 4 stemgerechtigden aanschreven. Fantastische aantallen, maar wat ging er dan mis?

Ten eerste schreven ze door hun selectiemethode alleen mensen van de middenklasse en hoger aan. Als je geen werk had (en dat hadden 9 miljoen mensen niet) had je ook geen geld voor een telefoon, een abonnement op een tijdschrift of een lidmaatschap van een vereniging. Een telefoon was sowieso een luxeproduct en was zelfs niet bij iedereen uit de middenklasse te vinden. Iemand met geld op de rekening zal niet snel stemmen op een kandidaat die de belasting wil verhogen om werkloosheidsuitkeringen te verhogen en dus stemden de door the Literary Digest aangeschreven mensen gemiddeld gezien vaker op Alfred Landon dan op Franklin Roosevelt. Het tweede probleem was dat van de 10 miljoen mensen die werden aangeschreven ‘maar’ 2,4 miljoen mensen reageerden. Dat is dus 24% van de beoogde groep. Als je een statistische berekening maakt door met een dobbelsteen te gooien heeft je steekproef dezelfde spreiding als je populatie, de kans dat je een bepaald getal gooit is 1/6e, maar je weet als onderzoeker niet waarom mensen niet reageren op je enquête. Misschien dachten mensen massaal ‘the Literary Digest, zeker zo’n elitair republikeinenblaadje’, gooide het verzoek bij het oud papier en stemde vervolgens bij de verkiezingen op Roosevelt. Maar misschien was er een heel andere reden om niet te reageren, we weten het niet. Het enige dat wel bekend is, is dat als de non-responders bias groter is, de kans dat de uitkomst iets zegt over de hele populatie kleiner wordt.

Een slecht opgezette steekproef kun je dus niet beter maken door meer mensen om hun mening te vragen en Gallup had dat door. Hij stuurde interviewers het veld in om persoonlijke interviews te doen, maar gaf iedere interviewer quota: ze moesten een x aantal vrouwen uit de middenklasse die in een dorp woonden, of werkloze mannen van tussen de 40 en 50 jaar oud in een stad interviewen, etc. Zijn uiteindelijke voorspelling was nog steeds lager dan het daadwerkelijke aantal stemmen dat Roosevelt kreeg, maar veel accurater. The Literary Digest zei dat hij 43% van de stemmen zou krijgen, Gallup zei 55,7% en het werd 60,8%, door het systeem van kiesmannen kreeg Roosevelt de absolute meerderheid, omdat hij alle kiesmannen kreeg van alle 46 staten waar hij de meerderheid haalde: hij haalde 523 kiesmannen en Landon 8. De carrière van Gallup ging als een raket en Gallup zelf omschreef zijn bedrijf als “a non-partisan fact-finding organization which will report the trend of public opinion on one major issue each week“. Dat viel tegen. In 1939 nam hij de Brit David Ogilvy aan voor zijn nieuwe bedrijf Audience Research Institute. Ogilvy was een reclameman en was in 1938 naar de VS gegaan om de reclamemarkt te onderzoeken, kwam en passant een leuke Amerikaanse tegen en besloot te blijven. Hij noemde zijn baan bij Gallup ‘the luckiest break of his life‘ omdat hij en heel veel leerde over de methodologie die Gallup had geleerd, maar ook de gemiddelde Amerikaan leerde kennen op een manier die weinigen was gegeven. Nog geen jaar later werd Ogilvy gerecruteerd door William Stephenson, het hoofd van de British Security Coordination (BSC). Stephenson werkte weer onder rechtstreeks bevel van Winston Churchill die vlak daarvoor premier van Groot-Brittannië was geworden.

Churchill besefte dat hij de oorlog tegen Hitler alleen kon winnen met de VS aan zijn kant en opiniepeilingen lieten zien dat 80% van alle Amerikanen neutraal wilde blijven. Daarnaast waren veel Amerikanen anti-Engels, dus als de VS zich toch in het conflict zouden mengen, was helemaal niet zeker aan welke kant dat zou zijn. Stephenson kreeg het bevel om de Amerikanen de oorlog in te sleuren en Ogilvy was één van zijn eerste rekruten. Ogilvy had zich bij Gallup al bewezen als een excellente kracht en hij had blind vertrouwen in de Brit. De interesse van Gallup lag puur bij de methodologie en de rest liet hij graag over aan Ogilvy. Het gaat er bij een opiniepeiling niet alleen om hoe je een vraag stelt, maar ook wat je vraagt. De uitkomst van een opiniepeiling beïnvloedt weer de opinie van anderen. Ogilvy kreeg 2 opdrachten: Gallup overtuigen om geen peilingen te houden die schadelijk konden zijn voor Groot-Brittannië en een aantal sleutelpeilingen zo te manipuleren dat de uitkomst in het voordeel van Groot-Brittannië zou zijn. Gallup had de reputatie onafhankelijk en objectief te zijn en dus hadden mensen rotsvast vertrouwen dat wat hij zei waar was. Overal ter wereld waren overheden bang voor een ‘vijfde colonne’: een samenzwering die van binnenuit de weerstand probeert uit te hollen. De Amerikanen zagen de communisten als zodanig, maar eigenlijk waren het dus de Britten. Via Ogilvy konden ze hun vooruitgang in het klaarstomen van de Amerikanen om oorlog te voeren ook nog eens nauwkeurig bijhouden en indien nodig de plannen aanpassen. Aan het begin van de oorlog leden de Britten enorme verliezen en in maart 1941 dacht 49% van de Amerikanen dat Groot-Brittannië het goed deed. Een maand later was dat 65%, zonder dat de Britten een aansprekende overwinning hadden geboekt. Ogilvy had toegang tot alle gegevens van Gallup, maar ook van de onderzoeksbureaus van het Amerikaanse Office of War Information en de Opinion Research Division van het Amerikaanse leger en speelde alles door aan de Britten.

De manipulatie van Ogilvy was ontzettend succesvol, maar dat dit niet vanzelfsprekend was bewees Gallup zelf. In 1944 stuurde het BSC een memo aan Londen om hen te waarschuwen dat de opiniepeilingen van Gallup over de presidentsverkiezingen niet klopten. De Republikeinse kandidaat, Thomas Dewey, was een goede vriend van Gallup en Gallup manipuleerde de opiniepeilingen in het voordeel van zijn vriend in de hoop om daarmee zwevende kiezers te overtuigen om op de winnaar te stemmen. Roosevelt won, maar dat kon ook nog verklaard worden doordat de oorlog nog gaande was. In 1948 probeerde Gallup het nog een keer. In zijn peilingen verloor Truman het van Dewey. Zijn onderzoekers waarschuwden hem meerdere keren dat mensen die nog niet eerder gestemd hadden voor Truman waren, maar Gallup telde hen niet mee. Hij eiste keer op keer dat de data aangepast werd aan de door Dewey gewenste uitkomst. Hoewel Dewey wist dat de cijfers gemanipuleerd waren (hij belde meerdere keren per dag met Gallup), gedroeg hij zich alsof dat niet zo was. Al tijdens de campagne hoorde de onderzoekers van Gallup regelmatig dat mensen niet zouden stemmen op Dewey omdat het toch niet nodig was. Kranten waren woedend dat de peilingen niet klopten, terwijl ze veel geld betaalden voor die onderzoeken, en Gallup raakte veel klanten kwijt. Hij moest veel moeite doen om iedereen te overtuigen van de juistheid van zijn methode, zonder bekend te maken wat hij had gedaan. En het duurde een paar jaar voor zijn bedrijf weer in rustiger vaarwater kwam. Toch bleef hij gedurende de rest van zijn carrière sterk pro-Republikeins en veel van zijn medewerkers hadden ook een verleden bij de partij. Een opiniepeiling heet in de VS nog steeds een Gallup Poll, en net als in de tijd van Gallup worden ze nog steeds naar hartenlust gemanipuleerd door jan en alleman – net als in Nederland trouwens. Ik stem voor een jaar geen opiniepeilingen in de media, wie is voor?