Den som vill veta vad svenskarna tycker har de senaste 50 åren eller så använt sig av ungefär samma teknik: Man gör ett slumpmässigt urval av (till exempel) 2000 svenskar, och ställer en fråga till dem. Om urvalet gjorts korrekt kan vi vara ganska säkra på att svenska folkets inställning ligger nära den som framkommer i det lilla urvalet. Säkerheten kan utifrån välkänd statistisk teori till och med beräknas och redovisas.

Antalet tillfrågade personer är här av underordnad betydelse, jämfört med urvalsmetoden. Vi blir inte så mycket säkrare av att fråga 5000 personer jämfört med 2000. Om urvalet däremot inte är slumpmässigt, och man själv får välja att vara med i enkäten, spelar det i princip ingen roll hur många eller få vi frågar. De som väljer att vara med kommer antagligen att skilja sig systematiskt från allmänheten i stort, vilket man lätt inser om man någon gång sett ett resultat från någon tidnings webbfråga (läs här om ett skräckexempel).

Politiska opinionsmätningar har traditionellt sett gjorts med slumpmässiga urval, men fler och fler har börjat använda sig av undersökningar där paneldeltagarna själva fått anmäla intresse för att delta, eftersom det är billigare och bekvämare. Ett framträdande exempel är Aftonbladets “Sverige Tycker”. 30000 personer har anmält sig via aftonbladet.se och dess samarbetssajter, och undersökningar görs sedan med delurval på några tusen personer. Aftonbladets månatliga väljarbarometer bygger på detta material.

Företaget som byggt upp panelen, Inizio, har skrivit en rapport om arbetet. Det är avslöjande läsning. Man erkänner till exempel att det på grund av handhavandefel och buggar i systemet vid “åtminstone ett tillfälle” publicerats resultat som borde slängts. Vad var det för resultat, undrar jag, men det är inte det viktigaste. På flera ställen medges uttryckligen att det saknas en teoretisk grund för den här typen av undersökningar, vilket också stämmer. Man kan till exempel inte beräkna konfidensintervall, och därmed inte säga om förändringar är statistiskt säkerställda. Och viktigast av allt, vad finns det egentligen för anledning att tro att de 30000 som valt att anmäla sig till panelen har samma åsikter som svenska folket i stort?

Två argument anförs i rapporten. För det första anpassas delurvalen för att efterlikna svenska folket med avseende på kön, ålder, region samt tidigare partival. I en typisk undersökning är hälften alltså kvinnor, och 31 procent av dem röstade på Socialdemokraterna förra valet. Men hur mycket hjälper det? Jag tror till exempel att en 35-årig kvinna från Göteborg som röstade på Folkpartiet i förra valet och valde att anmäla sig till en politisk opinionspanel är mer intresserad av politik och har andra åsikter än en 35-årig kvinna från Göteborg som röstade på Folkpartiet 2014 men som inte ville vara med i panelen.

För det andra menar man i rapporten att resultaten som fåtts fram genom ”Sverige Tycker” liknar det vi sett i SOM-undersökningarna, och i andra opinionsinstituts mätningar. Att detta anförs som ett argument bör verkligen stämma till eftertanke.

Hur ska man veta om resultaten är trovärdiga om det inte finns några referenspunkter, till exempel i nya frågor? Och vad händer om resultaten i Sverige Tycker börjar skilja sig från de andra opinionsinstituten? Vågar man då lita på dem? Om inte, vad är då poängen med att göra undersökningen över huvud taget?

Jag vet i alla fall vad jag kommer göra när resultaten skiljer sig åt. Jag kommer att lita på de undersökningar som använder sig av slumpmässiga urval, grundade på solid statistisk teori, snarare än de billigare och bekväma varianterna som inte backas upp av något annat än att de verkade ge rimliga resultat ett tag.