Hvorfor er meningsmålinger så omskiftelige?

Alle politiske meningsmålinger forsøger at fortælle os det samme: hvad ville danskerne stemme hvis der var Folketingsvalg i morgen? Alligevel er der ikke to målinger der er ens.

Ja, selv målinger der offentliggøres samme dag, kan give vidt forskellige resultater. Senest viste en Epinion måling og en Megafon måling at de Konservative gik henholdsvis frem og tilbage.

Det kan umiddelbart virke forvirrende. Men der er tre gode grunde til at forskellige målinger peger i forskellige retninger.

Vælgerne skifter mening

Først og fremmest kan vælgerne skifte mening. Det gør de faktisk relativt ofte. Omkring en tredjedel af vælgerne stemte således på et andet parti ved Folketingsvalget i 2011 end de gjorde ved valget i 2007. En andel der har været nogenlunde konstant ved de sidste par valg. 

Meget tyder derudover på at vælgerne er ekstra omskiftelige mellem valgene. En opgørelse foretaget af Politiken, viste således at hver gang 150 mennesker ændrer mening mellem valgene, er det kun hundrede af dem der ender med at stemme på et andet parti (Sigge Winther Nielsen, Politiken, 31/3 2013). Et fænomen man også kender fra amerikanske valg.

Når en meningsmåling viser, at et parti går frem kan det altså – ikke overraskende – betyde, at der er flere, der ville stemme på det parti. Det betyder imidlertid ikke, at de nødvendigvis vil stemme sådan til valget.

Statistisk usikkerhed

De fleste ved nok, at der er statistik usikkerhed på en meningsmåling – men er måske også lidt uklar på hvad det konkret betyder.

Grundlæggende handler statistisk usikkerhed om at der er en forudsigelig tilfældighed i meningsmålinger. Tilfældighed, idet vi bliver nødt til at udvælge et mindre udsnit af danskerne, hvilket implicerer at vi kan komme til at spørge et skævt udsnit. Et udsnit med for mange konservative, eksempelvis. Forudsigeligt, da vi kan bruge teoremer fra statistikkens verden til at udregne, hvor sandsynligt det er, at vi får et skævt udsnit.

Det er den samme forudsigelige tilfældighed der er i en terning. Hvis vi slår 60 gange med en terning kan vi ikke være sikre på at få 10 seksere (en sjettedel) – men vi kan på den anden side være rimelig sikrer på, at vi ikke kun får én eller to. På samme måde kan vi ikke være sikker på at vi får præcis den samme andel af konservative når vi udvælger 1000 tilfældige danskere, som hvis vi udvalgte dem alle. Men vi kan være rimelig sikker på, at vores resultat ikke vil være langt fra.

Den statistiske usikkerhed er (blandt andet), det der gør at to målinger, der er foretaget på samme tid, kan pege i forskellige retninger. Jævnfør Epinion og Megafons forskellige resultater for så vidt angår de Konservative.  Epinion – der fandt konservativ tilbagegang – kan således have fået lidt for få konservative i deres udsnit af danskere, og Megafon – der fandt konservativ fremgang – kan have fået lidt for mange konservative.

Institutternes forskellige metoder

Endelig kan meningsmålinger variere fordi institutternes bruger forskellige metoder til at sikre repræsentativitet. Institutterne har således forskellige teknikker til at udvælge respondenter, forskellige måder at interviewe respondenterne på (typisk over nettet, via telefon eller en blanding) og forskellige måder at vægte deres respondenter på.

Disse forskellige metoder kan resulterer i nogle systematiske skævheder. Vi har tidligere dokumenteret at YouGovs systematisk skød Socialdemokraterne under de andre institutter.

Det kan være svært at vide hvilket institut, der rent faktisk rammer rigtigt, da vi ikke kender danskernes faktiske stemmeadfærd. Det bedste vi kan gøre er at se på, hvor gode institutterne var på at ramme valgresultatet. Noget vi også tager højde for i vores bud på hvordan danskerne stemmer – vox populi.

Hvad betyder mest?

Det kan være svært at sige hvilke af de tre faktorer, der betyder mest, da den relative forklaringskraft vil være forskellig over tid, og på tværs af de forskellige partier (læs eksempelvis dette udemærkede indlæg omkring hvorfor den statistiske usikkerhed vil være større for større partier).

For alligevel at give læseren en idé om forholdet mellem de forskellige kilder til variation, kan vi se på Socialdemokraternes målinger siden starten af året – et sæt meningsmålinger politisk kompas har gået i dybden med tidligere.

I alt har Socialdemokraternes målinger en standardafvigelse på 1,8 pct. point. Hvor en standardafvigelse er en klassisk måde at måle variation (den udregnes ved at tage kvadratroden til summen af de kvadrede afstande til gennemsnittet).  Af denne variation udgør

Statistisk usikkerhed ca. 66 pct.

Man kan relativt let udregne hvor meget af variationen i Socialdemokraternes meningsmålinger, som skyldes statistisk usikkerhed. Det kræver kun, at vi kender antallet, som er spurgt i den enkelte måling. Ud fra dette kan vi se at den statistiske usikkerhed på Socialdemokraternes målinger svarer til en standardafvigelse på omkring 1,2 pct. point. Altså kan vi tilskrive (1,2/1,8=) 66 pct. af variationen i meningsmålingerne til den statistiske usikkerhed.

Institutternes metoder ca. 16 pct.

For at finde andelen af variation i meningsmålingerne, der skyldes institutternes forskellige metoder så vi på forskellen mellem (1) variationen omkring det samlede gennemsnit (de 1,8 pct. point) og (2) afvigelsen omkring en række institut-specifikke gennemsnit. Vi så således på variationen i meningsmålinger fra henholdsvis YouGov, Epinion, Voxmeter og så videre hver for sig.  Det giver en forskel på 0,3, hvilket implicerer, at institutternes metoder forklarer 0,3 procent points af variationen i Socialdemokraternes meningsmålinger. Det svarer til (0,3/1,8)=16,5 pct. af den samlede variation.

Vælgernes holdningsskift ca. 16 pct.

For at finde andelen af variationen i meningsmålingerne der skyldes at vælgerne skifter mening, ser vi på, hvor meget Socialdemokraternes opbakning har ændret sig over tid. Vi kan bruge effekten af tid til at måle holdningsskift, da præferencer, såfremt de ændrer sig, ændrer sig over tid. 20 pct. af danskerne kan således ikke støtte Socialdemokraterne samtidig med at 15 pct. af danskerne støtter Socialdemokraterne.  Samtidig ændrer de to andre faktorer, den statistiske usikkerhed og institutternes målemetoder, sig ikke over tid. Tiden kan forklarer de sidste 0,3 procent point af variationen i målingerne. Omtrent det samme som institutternes forskellige metoder – altså 16,5 pct. af den samlede variation.

Og hvad så?

Opsummerende kan vi altså sige, at hvis en måling i morgen viser at Socialdemokraterne går én procent frem, så er det overvejende sandsynligt at det skyldes statistisk usikkerhed eller instituttets målemetoder – og en rimelig begrænset sandsynlighed for at flere danskere rent faktisk ville stemme på Socialdemokraterne.