Journalister sjusker med usikre meningsmålinger

Medierne overfortolker meningsmålinger og undlader ofte at fortælle læserne om statistisk usikkerhed og andre forbehold. Enten skyldes det uvidenhed, eller også misrapporterer medierne bevidst meningsmålinger i jagten på gode historier, advarer forskere bag ny undersøgelse.

Da partiet Nye Borgerlige for nylig kunne præsentere nyheden om at have indsamlet nok underskrifter til at stille op til næste folketingsvalg, gik der ikke mange timer, inden Berlingske og BT kunne offentliggøre en ny meningsmåling fra Gallup, der viste, at partiet allerede stod til at komme i Folketinget. Den nyhed spredte sig hurtigt til andre medier, og flere målinger og flere historier om det nye parti fyldte forsider og sendeflader.

Med en opbakning i meningsmålingen på magiske 2,1 pct. sendte BT partiet direkte i Folketinget og glemte i skyndingen at oplyse den statistiske usikkerhed, som ifølge Berlingske lå på 1,4 procentpoint. Det betyder reelt, at partiet i målingen ikke har meget mere end 60 procents chance for at ligge over spærregrænsen. Og værre blev det, da både Berlingske og BT uden forbehold eller oplysninger om usikkerheder videre fortalte, at 33 pct. af vælgerne hos det nye parti kommer fra DF, 20 pct. fra Venstre og 20 pct. fra Liberal Alliance. Se figur 1.

Store procenter gemmer små tal

Figur 1 | Forstør   Luk

BT fik det til at se ud, som om vælgervandringerne til Nye Borgerlige var baseret på 1.128 vælgere. Men kun 2,1 pct. af dem – dvs. 21 personer – er grundlaget for diagrammet, og det giver en enorm statistisk usikkerhed på op mod 20 procentpoint.

Kilde: BT, fredag 23. september 2016, side 5.

Den konklusion, som Ritzau i øvrigt hurtigt sendte videre i en citathistorie, var baseret på kun 21 vælgere, og dermed var usikkerheden ved tallene så stor, at aviserne, hvis de ikke direkte skulle have holdt sig fra at tolke tallene, så i det mindste burde have understreget den enorme usikkerhed ved dem, siger en række valgforskere. I stedet fremstillede BT de usikre vælgervandringer i et cirkeldiagram, så det tilmed så ud, som om procentsatserne var baseret på 1.128 vælgere og ikke de 21 vælgere, der egentlig var tilfældet.

”Det allermest kritisable er, at cirkeldiagrammet forleder læserne til at tro, at det er lavet på baggrund af 1.128 personer. Men generelt, når man har med så usikre tal at gøre, synes jeg, at det er problematisk overhovedet at vise dem. Der er ingen reel information i dem,” siger Martin Vinæs Larsen, ph.d.-stipendiat og valgforsker ved Københavns Universitet.

Også Yosef Bhatti, seniorforsker ved KORA, mener, at fremstillingen af meningsmålingen er problematisk.

”Man kan diskutere, om det overhovedet giver mening at fremlægge vælgervandringer på den her måde. Man får et overdrevet indtryk af, hvor præcist det i virkeligheden er, når man gemmer de meget små tal bag procentsatser,” siger han.

BT’s chefredaktør indrømmer blankt, at både det misvisende cirkeldiagram og de udeladte oplysninger om de statistiske usikkerheder er en fejl.

”Det er ikke et forsøg på at bedrage vores læsere. Men det er rigtigt, at det kan misforstås. Vi burde have understreget, at vælgervandringerne baserer sig på et meget mindre antal personer,” siger Karl Erik Stougaard.

”Vi skulle både have omtalt usikkerheden for meningsmålingen og nævnt, at vælgervandringerne baserer sig på et meget spinkelt antal. Det er en fejl, at det ikke er kommet med. Det skal det altid, når det er vores egne meningsmålinger,” siger han.

Berlingske har modsat BT godt nok husket at nævne den statistiske usikkerhed ved meningsmålingen, men ikke for de mere usikre vælgervandringer til Nye Borgerlige.

”Selvfølgelig er det interessant at høre, hvad danskerne mener om Nye Borgerlige, men man skal altid være varsom med den slags meningsmålinger. Set i bakspejlet skulle vi ikke have taget deltallene med, fordi de baserer sig på meget lidt,” skriver chefredaktør Jens Grund i en e-mail.

Medierne misrapporterer

Fejlene er nogle af de seneste eksempler på nyhedsmediernes lemfældige omgang med meningsmålinger, som ofte enten bliver præsenteret misvisende, overfortolket eller på andre måder udlagt som skarpe nyheder, der dårligt er statistisk belæg for i målingerne, siger en række valgforskere.

”Det er sjældent, at medierne oplyser om den statistiske usikkerhed. Og når det sker, er det sjældent fyldestgørende,” siger Yosef Bhatti, som sammen med kollegaen Rasmus Tue Pedersen har gennemført en undersøgelse af det, de betegner som ”mediernes misrapportering af meningsmålinger”.

I undersøgelsen gennemgår de to forskere samtlige avisartikler om politiske meningsmålinger fra syv store danske dagblade i et lille års tid i 2011-2012 og konkluderer på den baggrund, dels at aviserne baserer mange historier om politik på meningsmålinger, dels at læserne sjældent bliver informeret om disse målingers statistiske usikkerhed. Endelig konkluderer de, at medierne ikke selv frasorterer sammenligninger, der er statistisk usikre, men i stedet tolker selv meget små forskelle. Det viser samlet set, at medierne har udfordringer med både nøjagtighed og troværdighed, når de skriver om meningsmålinger.

”Undersøgelsen viser, at medierne ofte enten glemmer eller ignorerer, at der er statistisk usikkerhed. Uanset hvor godt man laver målingen, ligger det i sagens natur, at der er en usikkerhed, når man kun spørger et lille udsnit af befolkningen,” siger Rasmus Tue Pedersen, der er postdoc og forsker i holdningsdannelse ved Institut for Statskundskab på Københavns Universitet.

Når analyseinstitutterne spørger danskerne om, hvad de vil stemme ved næste folketingsvalg, spørger de af praktiske og økonomiske årsager ikke hele befolkningen, men kun et lille udsnit på typisk cirka 1.000 personer. Og så er der en usikkerhed ved målingen, i henseende til hvor repræsentativ den er for hele befolkningens holdninger.

Men det er medierne ikke gode til nævne. Kun i 16 pct. af de undersøgte avisartikler, hvor forskerne kunne identificere en specifik meningsmåling, oplyser journalisten den statistiske usikkerhed. I endnu færre tilfælde bliver størrelsen på usikkerheden nævnt. Og endnu værre er det, når medierne sammenligner forskellige meningsmålinger over tid, fordi journalisterne tolker selv bittesmå ændringer, der ligger inden for den statistiske usikkerhed.

Tolker statistisk støj

En meningsmåling hos 1.000 adspurgte vælgere har typisk en statistisk usikkerhed for opbakningen til et enkelt stort parti på mellem 2 og 3 procentpoint. Og usikkerheden stiger, når man sammenligner flere meningsmålinger. Eksempelvis ville en fremgang til Socialdemokratiet på 1 procentpoint mellem to meningsmålinger – f.eks. fra 25 til 26 procent af vælgerne – ikke være en signifikant fremgang på grund af den statistiske usikkerhed på +/- 3 procentpoint. Alligevel viser undersøgelsen, at 67 pct. af mediernes sammenligninger af forskelle i meningsmålinger ifølge videnskabelige kriterier ikke kan betragtes som signifikant forskellige fra hinanden. Og i mere end hvert tredje tilfælde sker det, at journalisterne ligefrem tolker forskydninger mellem to målinger, selv om ændringen er 1 procentpoint eller derunder. Se figur 2.[graph title="Store fortolkninger på små forskelle" align="left" image="https://www.mm.dk/wp-content/uploads/2016/10/ABA_fig02_Store-fortolkninger-pU¨-smU¨-forskelle.png" image_full="https://www.mm.dk/wp-content/uploads/2016/10/ABA_fig02_Store-fortolkninger-pU¨-smU¨-forskelle.png" caption="Figur 2" text="De fleste historier om forskydninger i meningsmålinger handler om meget små ændringer, der typisk ligger under den statistiske usikkerhed. " ]Note: n = 391
Kilde: Yosef Bhatti & Rasmus Tue Pedersen: “News Reporting of Opinion Polls: Journalism and Statistical Noise”, International Journal of Public Opinion Research, 2016.

[/graph]

”Ofte tolker medierne på meget små forskelle i målingerne, og derfor er der meget stor usikkerhed ved, om målingerne reelt viser det, man siger. Det er særligt et problem med de tilbagevendende meningsmålingshistorier, hvor man sammenligner små forskelle mellem flere meningsmålinger. Så er det, som journalisterne tolker på, i vidt omfang bare statistisk støj,” siger Yosef Bhatti.

”Dermed risikerer medierne at misinformere offentligheden,” siger han og bliver suppleret af sin kollega.

”Det er selvfølgelig et indlysende problem, hvis medierne fortæller noget, som ikke er rigtigt. Men det kan også have andre konsekvenser, fordi meningsmålinger også kan påvirke vælgerne. I virkeligheden kan man risikere, at medierne på baggrund af nogle usikre meningsmålinger skriver, at et parti går frem, men så selv er medvirkende til at skubbe vælgere over til partiet,” siger Rasmus Tue Pedersen.

Han henviser til et eksperiment, som andre kolleger – herunder bl.a. Martin Vinæs Larsen – har udført om netop den effekt. Eksperimentet viser, at folk har en tendens til at støtte partier, der går frem i meningsmålinger, fordi de psykologisk set gerne vil være en del af en succes.

”Den effekt kan man godt forestille sig også er gældende her. Når Nye Borgerlige får én god måling, er det noget, der medfører, at flere mennesker overvejer at stemme på dem. Det er jo ikke så mærkeligt. Når du pludselig hører om, at der er 3-4 pct. af danskerne, der kunne finde på at stemme på Nye Borgerlige, og du selv er en borgerlig vælger, så vil du nok også overveje, om det kunne være noget for dig,” siger Martin Vinæs Larsen og konkluderer:

”På den måde er medierne med til at skabe en virkelighed, hvor partiet er et, man skal overveje at stemme på.”

Dumme, dovne eller stressede?

Hvis det kan have så store konsekvenser, må det være voldsomme kræfter, der presser journalisterne til misrapporteringer af meningsmålinger. Forskerne nævner selv to mulige årsager. Den første er, at journalister generelt måske ikke er dygtige nok til at jonglere med tal og statistikker og derfor let kan komme til at udelade vigtige forbehold eller nuancer. Hvis man ikke selv helt forstår, hvad en statistisk usikkerhed er, kan det være svært at formidle det ordentligt videre til læseren.

”Hvis det er det primære problem, så er løsningen jo bare, at man sørger for bedre uddannelse af journalisterne. Den anden mulighed er, at journalisterne godt ved, at der er en statistisk usikkerhed, men at de ignorer den med vilje for at få en god historie. Når man nu har betalt for en meningsmåling, så skal der jo leveres historier. Og hvis det vitterligt er journalisterne, der ignorerer usikkerheden i målingerne, er det svært at se, hvordan man skal kunne løse det her,” siger Rasmus Tue Pedersen.

Formand for Dansk Journalistforbund Lars Werge tror, at begge forklaringer er relevante. Men han afviser, at der skulle være tale om bevidste misrapporteringer hos journalisterne.

”Misrapportering er en meget grov generalisering. Der er gode og dårlige meningsmålinger, ligesom der er gode og dårlige gengivelser af meningsmålinger. Det er ikke bevidste overfortolkninger. Men en vinkling er jo en fortolkning, og så skal det selvfølgelig fremgå af teksten, at der også er en statistisk usikkerhed,” siger Lars Werge.

Og så er rigtig nok, indrømmer han, at nogle af de danske journalister godt kunne have fordel af at opprioritere ”nogle af de her lidt kedelige kompetencer” i at læse regnskaber, meningsmålinger og andre tal. Derudover peger Lars Werge på en tredje forklaring: at de journalistiske ressourcer på redaktionerne er færre end nogensinde, samtidig med at kravene om konstant at levere nyheder kun er blevet større.

”Der er blevet færre journalister til at producere flere nyheder, og det kommer særligt til udtryk i en valgkamp, hvor mediecheferne efterspørger, at alle platforme skal plastres til med nyheder hele tiden. Der mangler den eftertanke om, at ressourcerne ikke helt står mål med ambitionerne. Og så er det klart, at både fejl og lidt dristige fortolkninger vinder frem,” siger Lars Werge og anerkender også, ”at meget små forskelle i meningsmålinger kan blive blæst lidt stort op”.

BT’s chefredaktør mener ikke, at det er et spørgsmål om kompetencer eller uvidenhed.

”Vores journalister forstår godt, hvad statistisk usikkerhed er, og de ved godt, at de skal huske at oplyse den. Men det er klart, at vi som formiddagsavis gerne vil vinkle hårdt på det, som målingen viser. Og derfor kommer der nogle skarpe rubrikker. Men så skal vi selvfølgelig kvalificere vores hårde vinkling nede i artiklen med de forbehold, der er,” siger Karl Erik Stougaard.

Politik er et hestevæddeløb

Forskerne kan godt forstå, hvad der frister journalisterne til at skærpe konklusionerne i meningsmålingerne på et spinkelt statistisk grundlag. Det er let at lave nyheder på nye tal, hvor nogle partier sakker bagud, mens andre vinder frem – især hvis der er et valg under opsejling.

”Historierne er appellerende, fordi de har det her hestevæddeløbsagtige præg. Men samme logik tilsiger jo, at det er de mest skæve meningsmålinger, der vil få mest opmærksomhed. Jo skævere, jo bedre, og så bliver de mest skæve og måske også mest usikre målinger dem, der bliver blæst mest op i medierne,” siger Yosef Bhatti og stiller også det spørgsmål, om der mon er andre stofområder, hvor det er okay for journalister at skrive noget, der kun med godt 50 procents chance er rigtigt.

”Det skulle da lige være vejrudsigterne,” svarer Lars Werge i spøg. Men han forstår godt kritikken.

”Når der er seks eller syv institutter, der i en valgkamp løbende leverer meningsmålinger til de danske medier, så har forskerne da ret i, at den politiske journalistik bliver sådan lidt hestevæddeløbsagtigt og begynder at minde lidt rigeligt om sportsjournalistisk, hvor man hele tiden fokuserer på, hvem der ligger forrest,” siger Lars Werge.

”Men det er også et udtryk for, at det er spændende at læse om. Der er læsere og seere til det, fordi det er spændende at forenkle den politiske virkelighed til et kapløb om tal og prognoser.”

Alligevel hilser journalistformanden forskernes kritik velkommen. Det er emner, der vil blive diskuteret i journalistkredse, og det er en kritik, der kan være med til at sætte fingeren på de områder, hvor der er brug for selvransagelse hos journaliststanden.

”Hvis vi ikke er klar på at tage sådan en snak, så bliver vi journalister nok ved med at ligge nede i bunden af tillidsmålingerne,” siger han.

Bedre til det simple

Direkte adspurgt indrømmer forskerne dog også, at de danske journalister langt hen ad vejen er blevet bedre til at formidle meningsmålinger end tidligere.

”Der er mange udviklinger i den rigtige retning. Brugen af aggregerede målinger (dvs. flere målinger lagt sammen, red.) som eksempelvis hos Altinget er jo med til at mindske den statistiske usikkerhed,” siger Yosef Bhatti.

Det samme fremhæver Martin Vinæs Larsen. Han mener også, at journalisterne er blevet dygtigere til at formidle i hvert fald de simple meningsmålinger.

”Men der kommer alligevel en del svipsere. De er gode til de overordnede målinger, men så snart det bliver lidt mere kompliceret – f.eks. sådan noget som at kigge på et enkelt partis vælgere – er der hurtigt problemer,” siger Martin Vinæs Larsen.

Gallups chef for politiske meningsmålinger i Danmark har ikke noget at bebrejde hverken Berlingske eller BT.

”Jeg har møder med dem regelmæssigt, hvor vi taler om de her ting, og vi er enige om, at det er vigtigt at bruge analyserne korrekt. Men jeg er tilfreds, når Berlingske som her (opbakningen til Nye Borgerlige, red.) gør opmærksom på den statistiske usikkerhed. Jeg ville da gerne have, at alle danskere blev belært om, hvad statistisk usikkerhed er. Men jeg lever også i erkendelse om, at det gider folk ikke læse særligt meget om,” siger Camilla Kann Fjeldsøe, Associate Director i TNS Gallup.

Hvis det også er holdningen hos medierne, har Rasmus Tue Pedersen i det mindste én god tommelfingerregel til landets politiske journalister:

”Hvis man har brug for at tale om decimaler, når man tolker på meningsmålinger, så skal man lade være.”

Forrige artikel Er det sådan her prorussisk misinformation fungerer? Er det sådan her prorussisk misinformation fungerer? Næste artikel Færre anonyme kilder i den politiske journalistik
  • Anmeld

    Georg Faber · Pensionist

    Journalistik

    Det er et generelt og stort problem at de analytiske evner hos journalister generelt opleves som lavt.
    Evnen til at tilegne sig informationer og analysere disse stiller store krav til inellektet.
    Med den nuværende uddannelse og adgangskrav finder man ikke de personer der brug for.
    Det opleves derfor ofte, at journalistikken bærer præg af small talk .
    Det er et problem at det niveau accepteres som godt nok.
    Artiklen ovenfor beskriver på udemærket måde problemstillingen.
    Journalister generelt er sikkert glimrende til almindelig "snak" om generelle emner og til at forestå konkurencer.
    Til egentlig information af substantielle emner bør der anvendes akademikere/specialister der normalt er meget egnede til at informere.
    Hellere tilføre akademikere en journalistisk efteruddannelse end at spille kræfter på en umulig "akademisering" af journalister