Undermålerne

100.000 stemmer undervurderede meningsmålingerne Dansk Folkeparti med i deres 130 målinger op til Folketingsvalget. Fejlskuddene skyldes måske, at de har spurgt for neutralt. Virkeligheden er ikke neutral, og derfor får man ikke rigtige svar i en meningsmåling, hvis man spørger sådan. I stedet skal man sætte vælgerne i samme mentale situation, som når de står i stemmeboksen.

130 målinger tog fejl. Det var den irriterende overskrift, de danske meningsmålingsinstitutter stod op til dagen efter valget. Stik imod de adskillige daglige målinger, som pressen havde brugt som pejlemærker under hele valgkampen, blev Dansk Folkeparti Danmarks næststørste parti med 21,1 pct. af stemmerne. Se figur 1. 100.000 stemmer havde institutterne taget fejl af.

Massakrerede meningsmålinger" caption="Figur 1  

Figur 2  " align="right" image="https://www.mm.dk/wp-content/uploads/2016/01/51ea5-van_fig02_ja-til-banksamarbejde.png" image_width="0" image_full="https://www.mm.dk/wp-content/uploads/2016/01/4825c-van_fig02_ja-til-banksamarbejde.png | Forstør   Luk

Som du spørger, får du svar. Tænketanken Europa har testet, hvad forskellige formuleringer af spørgsmål betyder for opbakningen til bankunionen i EU. 

Kilde: Asmus Leth Olsen, Jonas Dahlgaard, Martin Vinæs fra Københavns Universitet, pba. målinger fra Epinion, Gallup, Greens, YouGov, Norstat og Wilke. Vægtede gennemsnit. [/graph]

”Har de målt i Jylland?” spurgte politisk kommentator og radiovært på Radio24syv Jarl Cordua på Facebook, da valgresultatet begyndte at forme sig og afslørede en massiv fremgang til Dansk Folkeparti i især Syd- og Sønderjylland, hvor partiet mange steder blev landets største.

Morgenen efter blev direktøren for analyseinstituttet Megafon kaldt ind i radiostudiet af Jarl Corduas kolleger, fordi de efter eget udsagn ville ”hive ham i ørerne” for målefadæsen. Hvordan kunne det gå så galt? Det var ikke noget svært spørgsmål:

”En stor del af dem, som har stemt Dansk Folkeparti, vil ikke stå ved det,” forklarede analysedirektøren.

Og det er unægtelig svært at give et kvalificeret bud på, hvordan stemmer fordeler sig, hvis folk lyver, når man spørger dem, hvad de har tænkt sig at stemme.

Valgforsker fra Københavns Universitet Martin Vinæs er dog ikke helt overbevist om, at det er forklaringen, selvom han heller ikke vil udelukke det:

”Det er belejligt for meningsmålingsinstitutter at bortforklare fejlene ved at sige, at folk har løjet for dem. Men vi ved ikke, om det er tilfældet,” siger han.

Måske er der andre forklaringer på problemet, og så skal der nye løsninger til:

”Det kan ikke udelukkes, at der skal helt andre metoder i spil,” forklarer Martin Vinæs.

Valgforsker og professor i statskundskab ved Aalborg Universitet Jørgen Goul Andersen har et bud på, hvor meningsmålingerne kan begynde.

”Der er stor forskel på at stå med en stemmeseddel i hånden og vente på at komme ind bag forhænget og så stå midt i aftensmaden efter en lang arbejdsdag, når Gallup ringer. Man kunne prøve at sætte vælgeren i samme mentale situation, som når de skal stemme.  På den måde kan de måske ramme mere præcist. Men så gør du noget forbudt i meningsmålingsland: Du påvirker svarpersonerne,” siger Jørgen Goul Andersen.

Britisk bias

Idéen kommer ikke ud af det blå. Den er hentet fra den anden side af Nordsøen. Efter valget har mange sammenlignet det danske valg med det britiske, som blev afholdt i maj.

”Men det danske valg var ikke et UK-moment for meningsmålingsinstitutterne,” indskyder valgforsker fra Københavns Universitet Asmus Leth:

”De danske meningsmålinger undervurderede DF, men ramte ellers resultatet. Målingerne i Storbritannien ramte intet,” fortæller han.

Det har han ret i.

Op til valget den 7. maj erklærede de engelske medier dødt løb mellem de konservative og Labour. ”Det tætteste valg i årtier” lød prognoserne, som viste, at ingen af partierne ville opnå flertal alene. Men de konservative og siddende premierminister David Cameron gik frem og fik absolut flertal med 331 mandater ud af 650 mulige. Labour endte på 232, og partiets leder, Ed Miliband, måtte trække sig fra formandsposten.

De første forklaringer på fejlene lød nogenlunde som de første meldinger herhjemme halvanden måned senere. Når institutterne spurgte briterne, hvad de ville stemme, svarede de Labour, men i stemmeboksen vaklede vælgerne og endte hos de konservative. Enten fordi de skiftede holdning i stemmeboksen, eller fordi de slet og ret løj, når man spurgte dem. Der var tale om en skjult konservatisme.

[quote align="left" author="Jørgen Goul Andersen Professor i statskundskab, Aalborg Universitet"]Du bliver undertiden nødt til at stille ledende spørgsmål for at få et retvisende resultat. Virkeligheden er ikke neutral, så du skal ikke stille neutrale spørgsmål.[/quote]

En anden forklaring var, at meningsmålingsinstitutterne ikke vægtede de svar, de samlede ind via telefon og internetspørgeskemaer, ordentligt. Også en forklaring, vi har hørt i den danske debat.

Men et par dage efter kom et helt andet bud på banen. Det viste sig, at to parter havde ramt rigtigt: De konservative vidste, de ville vinde. Labour vidste, de ville tabe.

”Vores målinger viste ikke absolut flertal, som det endte med, men vi vidste, vi havde en komfortabel føring hele vejen igennem og ikke var i nærheden af at miste magten,” har de konservatives kampagneleder, Jim Messina, fortalt New Statesman. I samme blad kunne man læse, at det var mindre sjovt at sidde i Labours talknuserafdeling:

”Vi nåede konstant frem til, at vi lå 7-10 procentpoint under avisernes målinger,” skrev James Morris, som lavede meningsmålinger for partierne under valgkampen.

Ifølge partierne er institutternes problem ikke vægtning eller løgn, men derimod undersøgelsesdesignet.

De britiske meningsmålingsinstitutter bruger langt hen ad vejen samme metoder, som de danske. De ringer op eller får dig til at deltage på nettet, og spørgsmålet er: Hvad ville du stemme, hvis der var valg i morgen?

Konservative og Labour griber det anderledes an. Før de spørger, hvad du vil stemme, stiller de 10-15 spørgsmål om landets økonomi, valgets hovedemner, og hvordan svarpersonen oplever sin egen situation. Teorien er, at vælgerne bevidst eller ubevidst vil stille sig selv samme spørgsmål, før krydset bliver sat. De kommer i valgstemning. Og den valgstemning skal man forsøge at efterligne, hvis man vil have et retvisende resultat.

”Hovedreglen er, at man ikke må påvirke svarpersonerne, men de bliver jo påvirket, før de skal sætte deres kryds, og derfor kan det ikke udelukkes, at du får et mere præcist resultat, hvis du også påvirker dem,” siger Jørgen Goul Andersen.

Nye usikkerheder

Valgforsker Rune Stubager ser gerne, at bureauerne eksperimenterer med briternes model, men der er utallige faldgruber, forklarer han:

”Det er stor forskel på, hvad folk lægger til grund for deres valg. Nogle går op i sundhedsvæsenet, andre i asylproblemer. Og en hel del er ikke særlig bevidste om, hvad de stemmer eller hvorfor.”

Derfor kan metoden give et meget skævt resultat. Når du spørger til økonomi, sundhed og ældre, får du folk til at tænke på de tre temaer. Hvis du så bagefter spørger, hvem de vil stemme på, svarer de måske det parti, de er mest enige med på de tre punkter. Men det hjælper ingenting, hvis vælgerne stemmer på det parti, de er mest enig i omkring integrationspolitik.

”Du kan ende med at ramme fuldstændig ved siden af. Så metoden skal testes grundigt, før man begynder at bruge den,” siger Rune Stubager.

Efter at være forelagt historien fra Storbritannien fortæller nordisk direktør i Epinion Thomas Yung Andersen, at han gerne vil prøve metoden af ved næste valg.

”Vi vil undersøge, om vi kan lave et lignende design, der kan give et mere retvisende resultat.”

Men det skyldes ikke det netop afsluttede valg, forklarer han:

”Den britiske model ville ikke have fanget skævheden i forhold til DF. Slet, slet ikke. Det er et helt andet problem,” siger han.

Epinion er i fuld gang med at finde ud af, hvad der gik galt. Under valgkampen har de indsamlet hobevis af data, heraf en del som de endnu ikke har brugt. Nu undersøger instituttet, om det kan genskabe valgresultatet på baggrund af dataene. Hvis de kan, vil de rette modellen til. Men der er ikke tale om, at modellen ikke giver et ordentligt resultat, forklarer Thomas Yung Andersen:

”Historierne om, at meningsmålingerne var helt forkerte, passer ikke. Vi havde fanget DF’s fremgang, men det er rigtigt, at vi undervurderede, hvor stor den var. Men fordelingen mellem blokkene og de øvrige partiers tilslutning ramte vi,” siger han.

Virkeligheden er ikke neutral

[graph title="Nej til bankunion, ja til banksamarbejde" class="crb-wpthumb attachment-915-0 crb-graph-large" alt="" />

Kilde: Tænketanken Europa, 2015. 

Mens mantraet er neutralitet, når det kommer til meningsmålinger, arbejder man mere systematisk med rammesatte og ledende spørgsmål, når man undersøger danskernes holdninger til forskellige spørgsmål: Skal den offentlige sektor vokse? Skal vi skære ned på ulandsbistanden? Skal Danmark erstatte retsforbeholdet med en tilvalgsordning?

”Du skal forsøge at stille spørgsmål på en måde, så de ligner den politiske virkelighed. Og da nogle argumenter ofte fylder mere i den offentlige debat end andre, bliver du undertiden nødt til at stille ledende spørgsmål for at få et retvisende resultat. Virkeligheden er ikke neutral, så du skal ikke stille neutrale spørgsmål,” siger Jørgen Goul Andersen.

Tidligere på måneden testede Tænketanken Europa f.eks., hvordan danskerne reagerer på forskellige formuleringer i spørgeskemaundersøgelser. I en undersøgelse spurgte de på to forskellige måder, om danskerne mener, Danmark skal deltage i EU’s bankunion. I den første formulering spurgte de til et banksamarbejde, som de også forklarede, hvad gik ud på. I den anden spurgte de til en bankunion uden at forklare yderligere. Se figur 2

De to formuleringer gav vidt forskellige resultater. 47 pct. svarede ja til det første spørgsmål, kun 30 pct. til det andet.

”Vi ville undersøge, om danskerne er imod indholdet af banksamarbejdet, og det tyder det ikke på, de er. Hvis man klæder dem på, er de tilhængere af samarbejdet. Men de reagerer negativt på ordet union. Sandsynligvis fordi det lugter af suverænitetsafgivelse,” forklarer tænketankens direktør, Bjarke Møller.

Men hvilket er mest retvisende for danskernes holdning? Det kan man ikke svare på, for det afhænger af den offentlige debat. Hvis Danmark ender med at skulle stemme om spørgsmålet – hvilket Dansk Folkeparti, Liberal Alliance og Enhedslisten insisterer på, at vi skal – bliver det en kamp om dagsordenen og ordvalget. Modstanderne vil advare mod en bankunion, tilhængerne vil støtte et banksamarbejde. Danskernes holdning vil rykke sig, afhængigt af hvem der kommer bedst igennem med at definere virkeligheden.


Få Mandag Morgens overskrifter direkte i din mail.

Tilmeld dig nyhedsbrevet nu




Få Mandag Morgens overskrifter direkte i din mail.

Tilmeld dig nyhedsbrevet nu