Opinonsmätningar – ett trolleritrick för lata tidningar

Ett finurligt trolleritrick som pressen älskar är det här med ”statistiskt säkerställda” opinionsmätningar. De här kommer bli allt mer frekventa ju närmare valet vi kommer. Lika bra att du tar en burk huvudvärkstabletter och vänjer dig. Så här ser journalistik ut numera.

Hur går då tricket till? Jadu. Ska man göra mätningarna snabbt blir de små, och blir de små kan stora fel leta sig in. Det vet man förstås om, men mätfel är inget problem. Tvärtom. Ju större fel desto mer dramatiska rubriker kan man kräma på med.

Förändringar i en mätning har alltid en felmarginal. Är förändringarna små hamnar de ofta inom felmarginalen. Det är då svårt att vara säker på att det hänt något alls.

Så när en tidning gör en politisk opinionsmätning och säger att en förändring är ”statistiskt säkerställd” menar man att det i runda slängar är 95% säkert att förändringen inte beror på slumpen utan faktiskt hänger ihop med en förändring.

Det betyder alltså att var tjugonde statistiskt säkerställda uppgift i pressen… tja, sitter lite löst.

Men det är väldigt sällan förändringarna i folks partisympatier ens kvalar in i den ligan. Ofta är de så små. Och är de små faller de inom felmarginalen. Då är det inte osannolikt att det inte har hänt något alls. Det här vet man förstås om men publicerar ändå. Gärna tillsammans med tvärsäkra analyser.

Ett exempel:

”Trenden är tydlig – SD går framåt”, kunde vi läsa i Expressen häromdagen. Stor rubrik, stor nyhet, bergsäkra slutsatser. Men sedan kryper det fram i texten att den här trenden är +0,6 procentenheter. (Spännande sidospår: Expressen misslyckas konsekvent genom hela artikeln att hantera skillnaden mellan procent och procentenheter.)

Socialdemokraterna ökar med 0,4 procent (läs procentenheter). Men ”så små förändringar är inget att fästa någon vikt vid, eftersom de ligger inom den statistiska felmarginalen”, skriver Martin Ahlqvist i artikeln. Sverigedemokraternas +0,6 är däremot ”den enda tydliga förändringen”. Att Liberalerna ökar med 0,9 procentenheter faller bort i bara farten.

Anledningen till att Ahlqvist och Expressen pratar om en tydlig trend är för att Sverigedemokraterna gått framåt i Expressens tre senaste mätningar. Som i april. Då ökade partiet med 0,2 procentenheter. I den mätningen föll alla förändringar inom den statistiska felmarginalen, men det hindrar inte Expressen att dra slutsatser ändå.

I marsmätningen var Sverigedemokraternas uppgång statistiskt signifikant – den enda i den mätningen. 3,2 procentenheter för att vara exakt. Ungefär lika mycket som de tappade månaden innan, enligt Expressen. Annars ligger de inom den statistiska felmarginalen.

Precis som de andra partierna.

Innan dess hade vi februarimätningen – ”Ingen förändring i Demoskops mätning var statistiskt säkerställd.” I januari kunde vi läsa att ”Ingen förändring i januarimätningen är dock statistiskt säkerställd.”

December: Ingen aning hur det ligger till, Expressen unviker att nämna det här med felmarginalen. Och eftersom de aldrig publicerar sin data så är det omöjligt att dra egna slutsatser.

I november stod det att ”Eftersom inte oktober och november mätts med identisk metod är det svårt att uttala sig om statistiskt säkerställda skillnader mellan oktober och november.”

Och eftersom det på grund av byte i mätmetoden var ”svårt att uttala sig” nöjde sig Expressen med

  • ledarsida
  • förstasida
  • toppnyhet på sajten
  • direktsändning
  • pushnotiser
  • tre tvärsäkra analyser samt
  • en löpsedel

Det var den mest dramatiska mätning som någonsin publicerats i Sverige.  Två partier hade förändringar runt tre procentenheter, ett runt 4 och en runt 5.

Det berodde förstås på ändrad mätmetod, men det valde alltså Expressen att strunta i. De publicerade ändå, trots att de visste att det inte var sant.

I oktober, då Demoskop fortfarande använde den gamla mätmetoden, kunde man läsa det här

… och förstås på slutet att ”Ingen av förändringarna i oktobermätningen är statistiskt säkerställd”. Så det fanns goda skäl att anta att S inte alls gått framåt.

I september– och augustimätningarna, där Löfven pekades ut som vinnare och Åkesson som förlorare, fick vi inte vet något om några felmarginaler. Expressen och Demoskop vägrar som vanligt publicera sina uträkningar.

Under den här tvärsäkra rubriken i juli stod det att

”Mätningen visar inga statistiskt säkerställda förändringar sen senaste mätningen i juni.”

Och i juni pekades Sverigedemokraternas ut som den stora vinnare med sin ”nya rekordsiffra” eftersom de ökat med 0,2 procentenheter. Men i den mätningen var det bara Vänsterpartiets ökning som var statistiskt säkerställd.

Och i maj förra året? ”Fi:s ökning är statiskt säkerställd”. Tvärsäkra analyser, trots att inga riksdagspartier hade några förändringar utanför felmarginalen.  Att Expressen publicerar en opinionsmätning som faktiskt är statistiskt signifikant hör, som vi kan se, till undantagen. De har satt i system att göra nyheter som saknar täckning.

Expressen är på inget sätt ensamt, men helt klart värst i klassen. Nyhetsmedier ska rapportera om politiken. Det ingår i uppdraget. Problemet är bara att lättja, arbetsbelastning och okunskap gör att de slarvar med uppdraget. Istället beställer de opinionsmätningar från seriösa mätinstitut och i samma ögonblick som de levereras dukar upp tequilabrunch och har spånmöte om hur stora växlar man kan dra på de marginella förändringarna.

Härliga dagar inom journalistiken.

kommentarer