Detta inlägg är samförfattat av Johan Martinsson och Andrej Kokkonen.

De senaste veckorna har Sveriges flyktingmottagande och därmed förknippade kostnader seglat upp som en central fråga i valrörelsen. Startpunkten för detta var Fredrik Reinfeldts sommartal den 16:e augusti i vilket han uppmanade svenska folket att öppna sina hjärtan (och sina plånböcker får man förmoda) i samband med att han varnade för ökade kostnader för de flyktingströmmar som följer på oro och våldsamheter i andra delar av världen.

Några dagar senare rapporterades i många massmedier att svenska folket sluter upp bakom ett ökat eller oförändrat antal flyktingar. Detta föranleddes av en opinionsundersökning genomförd av företaget Novus som hade tillfrågat 1000 personer i sin webbpanel. Undersökningen fick stort genomslag då den handlade om en aktuell och kontroversiell fråga.

Men hur mäter man på ett bra sätt vad befolkningen tycker om flyktingpolitiken och asylinvandringen? Detta låter sig inte helt enkelt göras. En kritik som redan har riktats mot rapporteringen om undersökningen handlar om att rubriksättarna har summerat de som vill ha fler och oförändrat antal flyktingar och därigenom skapat en flyktingvänlig majoritet. Lika gärna hade en majoritet kunnat bildas genom att summera de som vill ha färre och oförändrat antal flyktingar, och därigenom skapa en majoritet som är motståndare till just det ökade antal flyktingar som statsministern påtalade i sommartalet. På detta sätt ger undersökningen intrycket av en flyktingpositiv opinion. Frågan är om detta verkligen är berättigat?

Vi vill här belysa ett annat och potentiellt kanske större problem med undersökningen som inte har diskuterats lika mycket, nämligen själva frågeformuleringen. Det är välkänt bland opinionsundersökare och opinionsforskare att svaren från opinionsundersökningar är känsliga för frågornas exakta formulering (ett klassiskt verk i sammanhanget är Schuman och Pressers ”Questions and answers” från 1981 som är fylld av liknande exempel). Enstaka ord kan ha stor betydelse. Ordval och hur dessa är laddade och vart de för tankarna påverkar ofta de svar undersökningarna genererar. Denna sanning brukar populärt sammanfattas under parollen ”som man frågar får man svar”. Vad som brukar rekommenderas är då att istället främst fokusera på förändringar över tid eller skillnader mellan grupper med identiska frågeformuleringar och tillvägagångssätt. Förändringar över tid och skillnader mellan sociala grupper är ofta mindre känsliga för de exakta frågeformuleringarna än själva nivån på stödet för eller mot ett visst politiskt förslag. Sådana studier av svenska folkets inställning till flyktingmottagande har gjorts sedan en längre tid av tex SOM-institutet vid Göteborgs universitet. Senast publicerade statsvetarna Linn Sandberg och Marie Demker ett bokkapitel där sådana jämförelser över tid publicerades.

Nu valde Novus en lite ovanlig inledning på sin fråga som lyder ”Med tanke på de krig och oroligheter som just nu pågår i världen, tycker du att Sverige skall ta emot fler flyktingar, färre flyktingar, eller ungefär samma nivå på antalet flyktingar som idag?”. Tanken var antagligen att sätta in frågan i ett aktuellt sammanhang, eller att betona att det handlar just om asylsökande och inte exempelvis arbetskraftsinvandring eller liknande. Så långt allt väl. Samtidigt kan en sådan inledning knappast sägas vara neutral utan kan mycket väl påverka resultaten genom att den för tankarna till det lidande och de hemskheter som gör att flyktingar söker sig till Sverige. Även om vi redan från otaliga tidigare studier vet att sådana här ordval och inledningar kan påverka svaren blev vi nyfikna på att se om det verkligen spelade någon roll i nuläget i en såpass omtalad fråga? Vi genomförde därför en mindre randomiserad studie genom en webbenkät där halva urvalet fick svara på samma fråga som i Novus undersökning, och den andra halvan fick svara på samma fråga utan Novus inledning och där frågan enbart löd ”Tycker du att Sverige ska ta emot fler flyktingar, färre flyktingar, eller ungefär samma nivå på antalet flyktingar som idag?”. Resultatet blev häpnadsväckande starkt. Det visar sig skilja mer än tio procentenheter i andelen som vill ta emot fler respektive färre flyktingar när Novus inledning saknas. Med så enkla medel kan alltså resultaten från en opinionsmätning förändras ganska drastiskt. I tabellen redan redovisas vår jämförelse.

Flyktingopinionen med och utan omnämnande av krig och oroligheter (procent)

Med Novus inledning Utan Novus inledning Ta emot fler 32 21 Ta emot färre 30 41 Samma nivå 34 33 Vet ej 4 5 antal svar 2191 2320

När vi använder Novus inledning får vi i stort sett samma resultat som deras mätning. När vi ställer frågan utan nämnande av krig och oroligheter stämmer andelen som vill ta emot färre flyktingar istället mer överens med vad SOM-institutets undersökningar visar angående andelen som tycker det är ett mycket bra eller ganska bra förslag att ”ta emot färre flyktingar”.

Nu är dock inte själva procenttalen i sig det viktiga då vår undersökning inte bygger på ett slumpmässigt befolkningsurval, utan det viktiga är skillnaden mellan de två versionerna som fördelades slumpmässigt mellan de svarande. Andelen som vill ta emot fler flyktingar minskar med över tio procentenheter utan inledningen där krig och oroligheter nämns, samtidigt som andelen som vill ta emot färre ökar med motsvarande storlek. Hade Novus låtit bli att nämna krig och oroligheter hade alltså de förmodligen kommit fram till att opinionen är betydligt mer flyktingnegativ än vad de nu rapporterade. Man kan också spekulera i att Novus hade kunnat få fram en ännu mer flyktingnegativ opinion om de till exempel hade ställt kostnaderna för flyktingmottagandet mot finansieringen av välfärden (som till exempel Sverigedemokraterna gör). Kort sagt finns det all anledning att ta Novus siffror om svenska folkets inställning till flyktingmottagande med en nypa salt. Med en annan frågeformulering hade svenska folkets inställning förmodligen blivit mer flyktingnegativ. Med en inledning som betonar krig- och oroligheter väger det alltså ungefär jämnt mellan de som vill ta emot fler och de som vill ta emot färre, medan det på en rak fråga istället blir dubbelt så många som vill ta emot färre än som vill ta emot fler.

Vi ska dock komma ihåg att vår jämförelse av de två frågeformuleringarna bygger på ett icke-slumpmässigt urval. De människor vi har ställt frågan till är i genomsnitt mer politiskt intresserad än allmänheten i stort, vilket skulle kunna påverka våra resultat. Det troliga är dock att politiskt intresserade och kunniga respondenter tenderar att påverkas mindre än andra grupper av frågeformuleringar, varför effekterna sannolikt inte skulle bli svagare om vi hade upprepat experimentet på ett representativt befolkningsurval. Helt säkra på detta kan vi dock såklart inte vara förrän jämförelsen har upprepats på ett annat urval.

Oavsett vad det svenska folkets inställning till ett ökat flyktingmottagande faktiskt är bör man som läsare vara uppmärksam på de frågeformuleringar som används i de opinionsundersökningar som publiceras. Opinionsinstitut och deras uppdragsgivare är naturligtvis medvetna om att man kan manipulera opinionsresultat i önskad riktning genom att använda ”rätt” frågor. Som läsare är det därför alltid bra att fråga sig om man hade man kunnat formulera frågan på ett annat (mer neutralt) sätt och hur en annan frågeformulering hade påverkat resultatet. I förlängningen ger våra också stöd för att det kan spela stor roll i vilka termer debatten i olika politiska frågor förs.

Det är naturligtvis många andra saker som också påverkar resultaten i en undersökning än själva frågeformuleringen, även om den är av stor vikt. Insamlingsmetoden kan också spela roll i vissa känsliga frågor. Tex har Henrik Oscarsson tidigare skrivit om att biståndsviljan i Sverige också är större om besöksintervjuer används än om de mer anonyma postenkäterna. Samma sak brukar sägas om flyktingfrågor och många andra frågor. För mer läsning om flyktingopinionen i Sverige, se tex här.