Meningsmålingerne forud for det britiske valg for en måned siden var uhørt unøjagtige – og forud for det israelske valg i marts og den skotske folkeafstemning om selvstændighed sidste år gik det også galt. På samme måde ender også exitpolls udført på selve valgdagen ofte som vildskud – DR’s ved kommunalvalget i 2013 endte f.eks. som en pinlighed.

Den amerikanske statistikguru Nate Silver, der blev verdensberømt for sine analyser op til det amerikanske præsidentvalg i 2012, konkluderede efter det britiske parlamentsvalg ligefrem, at verden har et meningsmålingsproblem.

Men hvordan er det kommet så vidt for en branche, der er baseret på den matematiske statistiks ubrydelige love? Før vi kommer til svaret, så lad os genopfriske matematikken.

Meningsmålingernes pålidelighed kan vurderes ud fra antallet af respondenter (n), målingens usikkerhed (y) og konfidensinterval (z) – disse tal er indbyrdes forbundne.

Spørger man alle vælgerne, og svarer de oprigtigt, så ved man med en usikkerhed på 0 pct. og et konfidensinterval på 100 pct., hvor mange der vil stemme rødt (r pct.).

Hvis man accepterer, at ud af 100 målinger skal ‘kun’ 95 indeholde det rigtige svar i intervallet r +/- 3 pct., kan man spørge langt færre. En sådan måling har et konfidensinterval på 95 pct. og en usikkerhed på 3 pct. Matematikken viser, vi kan nøjes med at spørge 1.067 personer.

Ifølge Danmarks Statistik kan 4.143.807 personer stemme ved folketingsvalget 18. juni. De 1.067 udgør en kvart promille heraf.

Hvis man med samme usikkerhed og konfidensinterval vil vide, hvordan 60.000 vælgere i en bestemt by vil sætte deres kryds, så kan man ikke nøjes med at spørge en kvart promille eller 15 personer, man er nødt til at spørge 1.048 personer eller næsten 2 pct.

Hvis man for hele landet vil mindske usikkerheden til 1 pct. og øge konfidensintervallet til 99 pct., skal man spørge 16.641 personer. Men det er også 16 gange så besværligt at få en sådan måling i stedet for den mere almindelige 3 pct./95 pct.-måling.

Den repræsentative gruppe

Alt dette er vel at mærke under den betingelse, at respondenterne udgør en repræsentativ gruppe med en sammensætning, der svarer til hele vælgerkorpset – og det er her, meningsmålingsproblemet opstår.

Den første meningsmåling ved et valg blev udført af avisen Harrisburg Pennsylvanian i 1824. Den forudsagde, at Andrew Jackson ville vinde over John Quincy Adams ved præsidentvalget. Jackson fik som forudsagt flest stemmer i daværende 24 stater, og han fik også flest delegerede i valgmandskollegiet. Han havde dog ikke absolut flertal i valgmands­kollegiet, da der var to andre kandidater, og Adams blev præsident.

Alt dette kunne man dog dårligt laste meningsmålingen. I årene derefter blev meningsmålinger mere og mere udbredte i USA.

Literary Digest begyndte med nationale målinger blandt sine læsere i 1916 og forudsagde udvalget af mange præsidentvalg helt korrekt.

I 1936 konkluderede Literary Digest på basis af 2,3 millioner personer, at Alf Landon ville slå Franklin D. Roosevelt. Sådan gik det dog ikke. Roosevelt vandt en overbevisende sejr med 61 pct. at stemmerne.

Literary Digest havde spurgt 10 millioner læsere, men ikke mindst, fordi de, som svarede, ikke udgjorde en repræsentativ gruppe, var forudsigelsen forkert. George Gallup lavede en undersøgelse med ‘kun’ 50.000 respondenter, der gav det korrekte resultat.

Også dengang havde meningsmålinger stor betydning. Literary Digest afgik ved døden i 1938, mens Gallup, der havde udvalgt en repræsentativ skare til sin undersøgelse og sendt personer ud for at indsamle data direkte ved personlig kontakt, stormede frem.

Gallups spørgeteknik var dyr, og meget hurtigt blev telefoninterviews den mest udbredte teknik.

Telefonabonnenter udgør dog ikke en repræsentativ gruppe, så de forskellige meningsmålingsbureauer måtte udvikle teknikker, der kunne kompensere herfor. Her begyndte matematikken for alvor at måtte vige for mere eller mindre velfunderede antagelser. Men med erfaring og justeringer var målingerne ofte præcise.

De webbaserede undersøgelser

I dag er web-undersøgelser baseret på paneler – som bl.a. undersøgelsen af, hvordan danske ingeniører vil stemme– blevet almindelige. De er hurtige og billige at gennemføre.

De sidste dage op til det britiske valg blev der gennemført en stribe undersøgelser – de fleste online – der alle indikerede dødt løb mellem Konservative og Labour. Kun en telefonundersøgelse med 1.045 abonnenter dagen før valget var stort set identisk med valgresultatet.

Damian Lyons Lowe fra analysebureauet Survation turde dog ikke offentliggøre den.

»Jeg var en kylling; det er noget, jeg altid vil fortryde,« har han skrevet i et blogindlæg. Han konkluderer:

»Online-målinger kan bruges i mange sammenhænge, men te­le­fon­un­der­sø­gels­er vil være vores gyldne standard i fremtiden«.

Nate Silver bemærker, at undersøgelser også i USA har været holdt tilbage, så der har været en tendens til at opnå en falsk konsensus.

På den anden side har der i Danmark været kritik af, at medier har lagt for stor vægt på målinger, der afviger markant fra flertallet.

Det sidste ord får Nate Silver, der tager udgangspunkt i, at det er blevet sværere at kontakte vælgerne:

»Der kan være endnu sværere tider på vej for meningsmålings­branchen.«