Da danskerne tirsdag aften i sidste uge gik i seng, lød alle prognoser for det demokratiske primærvalg i Michigan, at Hillary Clinton ville vinde med omtrent 20 procentpoints forspring over rivalen Bernie Sanders. Over en bred front vurderede samtlige meningsmålingsinstitutter, at den 74-årige senator fra Vermont havde mindre end 1 procents chance for at vinde delstatens 65 delegerede. Onsdag morgen dansk tid kunne Bernie Sanders imidlertid lade sig hylde som sejrherre i Michigan, hvilket ikke mindst kom bag på ham selv.

Også herhjemme har vi oplevet alvorlige fejlskud, der har givet politikerne problemer. De fleste husker formentlig, hvordan en tidlig og upræcis exitprognose ved kommunalvalget i 2013 trængte Socialdemokraterne i defensiven på selve valgdagen – blot få timer inden valgresultatet kunne fortælle en helt anden historie. Se tekstboks.

Derfor diskuteres der metode i disse år, både internt blandt meningsmålingsinstitutterne og mellem institutter og valgforskere. Mandag Morgen har kortlagt metoderne hos landets otte mest fremtrædende institutter, og kortlægningen viser, at der er store forskelle i den måde, de laver politiske indeks på. Se figur 1.

Selv om ordet metode formentlig kan få en god del af selv de mest politisk interesserede til at mærke søvnigheden komme snigende, er det ifølge en af landets førende valgforskere en vigtig og væsentlig diskussion i et demokrati som det danske.

”Meningsmålinger er et videnskabeligt redskab, og hvis man gør det rigtigt, kan man få et ret præcist billede af opinionen her og nu. Samtidig fylder meningsmålingerne mere og mere i mediernes politiske dækning, og derfor er det både ret og rimeligt, at vi som borgere, medieforbrugere eller videnskabsfolk ved nok om, hvordan undersøgelserne gennemføres. Vi kan ikke nøjes med at se på institutternes gode navn og rygte.”

Udsagnet er Kasper Møller Hansens, professor på Københavns Universitet. Han er løbende i dialog med en række af de danske institutter, og han har grundlæggende et godt indtryk af kvaliteten af de danske analyser. Generelt mener han, at branchen er både nysgerrig og selvkritisk, og han roser institutterne for nu at åbne for deres metoder og lægge informationerne frem.

”Denne kortlægning er den første af sin slags i Danmark, og den har værdi for alle, der vil bruge og forstå de mange meningsmålinger, der omtales i medierne. For det er vigtigt at forstå, at der ikke findes én rigtig metode, men at forskellige tilgange har forskellige styrker,” siger Kasper Møller Hansen.

Hans kollega på Aarhus Universitet, professor Rune Stubager, er enig:

”For mig som forsker er det et spændende indblik i praksis blandt praktikerne i feltet, for de gennemfører jo langt flere målinger end os akademikere,” siger han.

Fuldstændig transparens er umulig

Det er dog naivt at forvente, at de danske opinionsmålere fuldstændigt frigiver deres metoder til open source. Selv om institutterne har indvilget i at lægge meget frem, kæmper idealet om gennemsigtighed med de hårde realiteter på et konkurrencepræget marked. Rune Stubager har da også bemærket, hvad kortlægningen ikke giver ham svar på.

”Det rigtig spændende ville være at se deres vejningsmatricer, som jeg skal kende for at kunne kvalitetsvurdere deres metoder. Der ligger nemlig mange væsentlige beslutninger i det, man kan kalde massagen af de rå data. Men jeg forstår godt, at de af konkurrencehensyn ikke vil lægge den information åbent frem,” siger han.

Vejningsmatricer er den måde, man bearbejder en stikprøve på for at bruge den til at sige noget om hele populationen, dvs. vælgerkorpset. Groft sagt kan man sige, at den slags teknikker er nødvendige, fordi den helt tilfældigt udtrukne stikprøve med en svarprocent på 100 er umulig at gennemføre – og idealet bliver endda sværere og sværere at nærme sig. Se tekstboks.

Det kæmper opinionsmålere med i en række af de lande, vi normalt sammenligner os med. F.eks. forbyder amerikansk lovgivning automatiske opkald til mobiltelefoner, så institutternes ringelister må kun bruges til at kontakte fastnettelefoner. I Sverige tyder meget på, at mange vælgere ikke vil indrømme, at de stemmer på Sverigedemokraterna, hvilket betyder, at tilslutningen til partiet typisk sættes alt for lav. Og britiske erfaringer med at indlede meningsmålinger med at stille mere holdningsprægede spørgsmål tyder på, at briterne tilsyneladende udpeger et parti uden at tænke sig ordentligt om. Se tekstboks.

Selv om alle tre tendenser er begrænsede i Danmark, kæmper også danske institutter med den grundlæggende udfordring at holde svarprocenten oppe for at undgå skævheder i stikprøven. ”Vi ser over en bred kam, at svarprocenterne er faldende på både web- og telefoninterview”, siger Kasper Møller Hansen.

Det giver metodiske udfordringer, og Mandag Morgens kortlægning viser, at institutterne har valgt forskellige måder at håndtere disse på.

Repræsentative stikprøver er konkurrenceparameteret

Institutternes svar viser, at seks ud af otte bruger en blanding af geografisk fordelte telefonnumre og brugere i institutternes respektive webpaneler. På de to yderfløje er Voxmeter, der udelukkende anvender telefoninterview, mens YouGov på den anden fløj kun indsamler data via sit webpanel.

Metoden bag disse webpaneler, der hos de seks øvrige institutter supplerer telefonlisterne, består i at samle et fast panel af respondenter, som derefter løbende får tilsendt forskellige undersøgelser, som de kan svare på. Typisk optjener medlemmerne point som tak for indsatsen, der så kan veksles til indkøb eller muligheden for at vinde præmier.

Her bliver rekruttering afgørende, og på dette område viser kortlægningen da også forskelle. De er væsentlige, fordi de har konsekvenser for sammensætningen. Udgangspunktet er, at forskellige hvervningsstrategier tiltrækker forskellige typer mennesker.

Og her peger kritikere på, at muligheden for selv at tilmelde sig og vinde præmier måske tiltrækker en særlig gruppe respondenter, som f.eks. kan have mere hang til gambling, større politisk interesse eller bare rigtig meget tid tilovers.

Rune Stubager er ved siden af sit professorhverv selv en af dem, man kunne beskylde for at være en halvprofessionel panelist.

”Jeg er medlem af to paneler, fordi jeg synes, at det er interessant at besvare spørgeskemaer – i hvert fald de politiske. Det giver nogle udfordringer at finde ud af, hvordan man undgår at spørge for mange af min slags,” siger han.

Der var derfor en vis skepsis, da New York Times i 2015 indgik et samarbejde med webpanelinstituttet YouGov. Og samme skepsis var fremme, da YouGovs målinger for The Economist i de samme måneder viste, at Donald Trump var i front for det republikanske primærvalg. Det troede ingen på i starten.

Baggrundsdata kan bruges til stikprøveudtrækket

Lars Gylling er nordisk kommunikationschef for YouGov i Danmark, og han har flere bud på, hvorfor hans amerikanske kolleger så tidligt kunne sætte Trump i spidsen. En vigtig forklaring er, at webpanelerne også indeholder mulighed for at rette op på de mulige skævheder, som der er en forståelig bekymring for.

”Fordelen er, at faste paneldeltagere har svaret på en række andre undersøgelser, og det giver instituttet temmelig meget baggrundsinformation om respondenterne. Den viden kan man bruge, når man skal udvælge en stikprøve. Dermed kan man via en kort omvej skabe den repræsentative stikprøve, som man var nervøs for at miste pga. rekrutteringsmetoden,” siger Lars Gylling og henviser til præsentationen af et forskningsstudie fra Göteborg Universitet som dokumentation.

Et konkret eksempel på, hvordan baggrundsinformationen kan bruges, er i håndteringen af vælgernes korte hukommelse.

”Vores forsøg viser, at op imod hver fjerde vælger ikke husker, hvem de stemte på ved et valg, som ligger fire år tilbage. Hvis man derfor vil have en stikprøve med repræsentativ sammensætning af partiernes vælgere ud fra sidste valg, kan glemsomheden faktisk godt give en skævhed. Derfor har vi ændret vores rutine, således at dét, vores panelmedlemmer lige efter valget fortalte os, at de stemte, vil blive gemt. Vi husker altså for dem,” forklarer Lars Gylling.

Nogle søger stabilitet, andre måler dagsformen

En anden væsentlig beslutning, hvor institutterne har valgt forskellige veje, er i håndteringen af tvivlerne. I branchen skelner man mellem den ’hårde’ og den ’bløde’ tvivler. Hvor den bløde tvivler i første omgang ikke kan bestemme sig for et parti, men via opfølgende spørgsmål alligevel ender med at hælde til et, så fastholder den hårde sit ’ved ikke’.

Alle andre end YouGov medregner de bløde tvivlere blandt et partis vælgere. Ræsonnementet er, at disse vælgere sandsynligvis ender med at stemme på det parti, de hælder til, og at billedet derfor er mere realistisk.

På den anden side er det også en stabiliserende effekt, der medfører mindre udsving i målingerne, og blandt forskere og opinionsmålere diskuteres det i øjeblikket heftigt, om den type stabilitet er et efterstræbelsesværdigt mål.

F.eks. skrev Megafons analysechef for nylig i Politiken, at instituttets ”opgave er at afdække, hvordan vælgerbilledet ser ud lige nu og her”. Over for den holdning står en forsker som Rune Stubager, der har større interesse i de mere stabile målinger.

”Det er jo nok sådan, at hvad der kommer let, går let, så derfor finder jeg de øjeblikkelige udsving mindre interessante, men det er i sidste ende en smagssag,” siger professoren.

Ligesom hos flere af hans kolleger inden for valgforskningen, gemmer der sig dog mere end blot personlige præferencer bag det kritiske blik. Som debatten i ikke mindst Politikens spalter har afsløret, såede den opsigtsvækkende måling af Socialdemokraternes dramatiske tilbagegang i slutningen af januar tvivl blandt valgforskere om, hvorvidt Megafons målinger blev indsamlet for hurtigt.

Mandag Morgens kortlægning bekræfter da også, at Megafon bruger den korteste indsamlingsperiode af alle de adspurgte institutter.

Hovedanken er, at man med så kort en indsamlingsperiode – særligt for kontrolmålingen, som Megafon iværksatte for at sikre kvaliteten af det opsigtsvækkende svar – får en skævhed i respondenterne. Travle børnefamilier og karrieremennesker med lange arbejdsdage er nogle af de grupper, som måske var dårligere repræsenteret end den indignerede S-vælger med både holdninger og tid til at lade sin protest over Socialdemokraternes kurs blive hørt.

”Det er veletableret i forskningen, at kortere indsamlingsperioder vil give metodiske problemer i forhold til repræsentativitet, hvilket institutterne jo også netop tager højde for til daglig ved normalt at have længere indsamlingstid”, siger Kasper Møller Hansen.

Kritikken bider dog ikke på Asger H. Nielsen, direktør for Megafon:

”I gamle dage er det rigtigt, at det var sværere at nå folk ved at ringe eller skrive til dem, fordi de skulle være hjemme. Men i dag har vi jo mobiltelefoner og e-mails, der gør, at en undersøgelse ikke behøver at vare en uge, for at vi kan nå de mest travle grupper. Derudover sikrer vi kvaliteten af stikprøven med den vægtningsmatrice, vi har brugt 20 år på at udvikle, og som bliver udbygget og evalueret hver 14. dag,” siger Asger H. Nielsen.

Han understreger, at jagten på øjebliksbilledet med de dertilhørende stærkere udsving netop er Megafons ambition, og at instituttet derfor har frabedt sig at være en del af diverse gennemsnitsindekser, f.eks. Berlingske Barometer og Ritzau Indeks, der løbende beregner gennemsnittet af institutternes målinger.

De danske respondenter lyver (tilsyneladende) ikke

En anden fordel ved webpanelerne er, at der kan være stor forskel på at svare på et spørgeskema på en skærm og så at skulle sige sit svar til et andet menneske. Tanken er, at det måske giver ærligere svar – i hvert fald blandt nogle grupper – hvis man giver deltagerne mulighed for at svare i ro og mag ved computeren.

Det åbner dog for den bekymring, at webmålingerne i højere grad bruges af respondenten til at sende et signal. F.eks. fik de allerede omtalte YouGov-målinger af Trumps tidlige føring flere kommentatorer til at opsummere det mest interessante ved de første primærvalg som spørgsmålet om, hvorvidt Trumps vælgere rent faktisk fandtes. Var der alene tale om en ’gratis’ protest mod eliten, som frustrerede vælgere turde give udtryk for ved computerskærmen hjemme i stuen, eller ville de virkelig møde op på et valgsted og støtte Trumps præsidentkampagne? Det spørgsmål kender vi svaret på i dag.

I Danmark har diskussionen centreret sig om den såkaldte DF-faktor, og ved det seneste folketingsvalg ramte institutterne igen langt forbi partiets faktiske stemmetal. Det er et problem, som meningsmålerne på den anden side af Øresund i disse år også prøver at håndtere, når det gælder Sverigedemokraterna. Her er en af de typiske forklaringer fra institutterne på, at de konsekvent sætter opbakningen til partiet for lavt, at den menige svensker ikke vil indrømme, at han eller hun stemmer på Jimmie Åkesson & co.

Kasper Møller Hansen kender diskussionen indgående, og hans analyse af det danske vælgerkorps er ikke, at institutterne rammer forbi, fordi Dansk Folkeparti er mindre stuerene end andre partier.

”Problemet i Danmark i dag er ikke så meget, at folk lyver om, hvorvidt de stemmer på DF, men nærmere, at DF-vælgerne ikke gider svare på politiske målinger. Derfor er det rette navn for den faktor, vi ikke kan finde ud af at vægte stikprøven efter, nok ’manglende politisk interesse’,” siger professoren.

Megafons mange undersøgelser de seneste år tegner imidlertid et andet billede:

”Vi kan se, at der stadig er en kløft mellem dem, der siger, at de stemmer på DF, og dem, der ender med at gøre det. Mere interessant er det dog nok, at denne faktor er dynamisk. Vi kalder af og til Dansk Folkeparti for Dr. Jekyll og Mr. Hyde-partiet. Når bølgerne går højt i udlændingedebatten, vil færre indrømme, at de stemmer på partiet, end i de tider, hvor vi diskuterer f.eks. ældrepleje,” siger direktør Asger H. Nielsen.

Skal vi spørge til holdninger?

Og her bevæger vi os ind på et område, hvor der for alvor spekuleres i metodisk innovation, for kan vi håndtere den slags problemer ved at stille andre spørgsmål?

F.eks. fortæller det uafhængige nyhedsmagasin Fokus, at det svenske meningsmålingsinstitut Novus eksperimenterer med at spørge til politiske holdninger for at kunne afsløre den andel af tvivlerne, som reelt har tænkt sig – eller bare ender med – at stemme på Sverigedemokraterna.

I Danmark gør både Megafon og Wilke noget lignende, men ikke nødvendigvis målrettet DF-vælgerne. I stedet handler det om at fordele tvivlerne efter deres holdninger, så målingen giver et mere realistisk bud på, hvem de ender med at stemme på – i det omfang de altså rent faktisk stemmer.

Asger H. Nielsen fra Megafon gør opmærksom på, at den manøvre er endnu mere vigtig i andre typer afstemninger end valg til Folketinget:

“F.eks. var 40 pct. af vælgerne i tvivl på vej ned til EU-afstemningen sidste år. Der bliver vi altså nødt til at stille nogle tillægsspørgsmål og så opstille sandsynlighedsmodeller for at kunne lave en realistisk måling,” siger han.

Epinion er et af de institutter, der har valgt ikke at bruge et sådant greb. I Mandag Morgens rundspørge skriver de, at ”(d)er ikke (er) en entydig sammenhæng mellem holdninger og partivalg, og derfor skaber det mere støj i målingerne at gøre dette (dvs. stille tillægsspørgsmål, red.)”.

Tænker vælgerne sig ordentligt om?

Et andet område, hvor der i disse år eksperimenteres, handler om framing. Det betegner effekten af, at visse spørgsmål f.eks. stilles i en særlig rækkefølge og derfor sætter respondenten i en særlig situation eller tilstand.

Mandag Morgen har tidligere fortalt, hvordan de britiske partier ved parlamentsvalget sidste år brugte en række spørgsmål om valgkampens væsentligste temaer til at flytte vælgerne mentalt væk fra bilkørsel, bleskift, eller hvad de nu var i gang med, da de blev ringet op, og ind i stemmeboksen. Og de foreløbige erfaringer var, at det gav et bedre resultat.

Megafon vil ikke afsløre, hvordan de præcist arbejder med sådanne teknikker, men de lægger ikke skjul på, at teknikkerne har deres berettigelse.

”F.eks. har vi ved flere europaparlamentsvalg set en enorm effekt for nogle partier, når de har haft et kendt navn som Poul Nyrup Rasmussen eller Morten Messerschmidt på valglisten, og den påvirkning vil vi gerne indbygge i vores måling,” siger Asger H. Nielsen.

På Københavns Universitet laver man også masser af framing-studier, og professor Kasper Møller Hansen er helt klar over, hvad sådanne studier kan bidrage med.

”Vi kan dokumentere enorme framing-effekter, og det kender vi også fra faglitteraturen. Faktisk kan vi nærmest vende opinionen helt om på et særligt politisk tema blot ved at stille nogle spørgsmål eller give informationer i begyndelsen af interviewet,” siger Kasper Møller Hansen.

Han er derfor heller ikke på forhånd afvisende over for at bruge nogle af de nye metoder, som f.eks. Megafon arbejder med.

”Det er spændende og relevante problemstillinger, institutterne arbejder med, og det gør jo ikke den famøse måling af Socialdemokraternes tilbagegang mindre interessant, hvis sådanne metoder ligger til grund. Men jeg mener, at vi som brugere af meningsmålingen har krav på at få at vide, hvordan målingen er lavet, og hvad den opfanger,” siger han.

Meningsmålernes magt

Kasper Møller Hansen mener, at institutternes legitimitet først og fremmest stammer fra den videnskabelige metode, hvilket indebærer en metodisk åbenhed. Og derfor mener professoren, at vi som brugere af undersøgelsens resultater ikke bare bør stille os tilfredse med forudsigelser, vi ikke kender tilblivelsen af.

Megafons direktør er uenig, og har ikke tænkt sig at aflevere al den knowhow, hans firma har opbygget gennem flere tiår.

”Vi er transparente i den forstand, at vores succeser og fiaskoer er synlige for enhver på valgdagen. Men derudover tager vi metodediskussionen med vores samarbejdspartnere – altså TV 2 og Politiken – som selvfølgelig får svar på alle de spørgsmål, de skal kende svaret på for at kunne rapportere undersøgelsernes resultater. Og derudover har vi i øvrigt valgt at lade os ISO-certificere, hvilket betyder, at vi har forpligtet os til at leve op til en række kvalitetssikringsstandarder,” siger Asger H. Nielsen.

Derfor er det måske værd at hive den støvede metodebog ned fra hylden og overveje, hvordan vi behandler de resultater, som de forskellige målinger giver os.

For det amerikanske eksempel i disse dage antyder ikke bare, at målingerne kan tage fejl. Eksemplet med Donald Trump har f.eks. ført til kontrafaktiske overvejelser om, hvordan situationen havde været, hvis Trump ikke tidligt havde fået favorable målinger. Groft sat op er spørgsmålet, om de amerikanske republikanere er ved at vælge vinderen Trump, fordi institutterne tidligt vurderede, at han var i front, eller fordi de deler hans politiske holdninger?

”Vi har masser af belæg for, at meningsmålinger ikke bare måler, men også påvirker opinionen,” siger Kasper Møller Hansen og fortsætter: ”Derfor er det her langt mere end blot en branchediskussion.”