Ingen kommersiell webbpanel, i Sverige eller internationellt, kan leverera ett obundet slumpmässigt urval (OSU). Det gäller oavsett om panelen är telefonrekryterad eller rekryterad via ett öppet förfarande. Långt ifrån alla respondenter har möjlighet att nås via telefon idag. I och med detta är inte ett urval via telefon heller obundet.

Traditionella statistiska metoder ska enligt skolboken endast användas på ett OSU med högst 20 procents bortfall. Ingen är i närheten av att leverera det idag, men få vill prata om att det faktiskt är på det viset.

Konventionella statistiska metoder med felmarginaler är idag inte helt rättvisande, oavsett vilken metod man använder. Branschen som helhet har hittills använt traditionella statistiska beräkningsgrunder på ett pragmatiskt sätt, vilket inneburit att i stort sett alla (inklusive aktörer med webbpaneler) använder dessa som grund för att analysera om förändringar och jämförelser i resultat är tillförlitliga eller inte. Detta trots att förutsättningarna inte uppfyller de krav på dels möjlighet att nå alla, dels långt ifrån tillräckligt hög svarsfrekvens enligt den statistiska skolboken.

Branschen behöver etablera nya mått som är verklighetsförankrade och som vi alla kan förhålla oss till. Organisationen Aapor i USA diskuterar bland annat detta just nu. Det som diskuteras för webbpaneler är ett variationsmått istället för felmarginal. Utgångspunkten kan än dock vara traditionella statistiska metoder med hänsyn taget till panelers specifika uppbyggnad och urvalsförfarande.

Vi kommer att anpassa oss till de nya mått som så småningom med största sannolikhet etableras. Men det är en branschfråga och bör göras gemensamt för alla webbpaneler samtidigt. Allt annat skapar förvirring.

Den statistiska teorin har sin plats i detta även i framtiden, men den ultimata utmaningen i att skapa och designa precisa urval och undersökningar är det absolut mest kritiska. Tyvärr, är många av de bästa forskarna och statsvetarna inte riktigt med på tåget ännu. De vill ovilligt rucka på gamla teorier, och inte inse de förutsättningar vi i undersökningsbranschen verkar i.

Den enda svenska oberoende studien som har jämfört olika insamlingsmetoder där webbpaneler inkluderats, genomfördes av Göteborgs Universitet under föregående år. Rapporten som presenterades på Marknadsundersökningens Dag i mars 2013, visade att det inte är någon skillnad i resultat mellan öppna och telefonrekryterade paneler. I den studien kom snarare de öppna panelerna ut bättre (United Minds/CINT och YouGov i jämförelse med Novus och Sifo).

Det egentliga problemet, oavsett metod, är att kunna dra slutsatser utifrån de respondenter vi når i våra undersökningar till de som vi inte kan nå (bortfallet). Kan vi förutsätta att de som vi inte når har samma beteende som de vi når. Svaret borde vara ett rungande nej. Den stora skillnaden mellan webbpaneler med kvalificerade urvals- och vägningsförfaranden och försvarare av traditionella sannolikhetsförfaranden, är att de förstnämnda försöker ta hänsyn till och göra något åt dessa skillnader, medan traditionella metoder i många fall ignorerar det och sticker huvudet i sanden. De talar om små skillnader och förlitar sig på de statistiska modellerna med felmarginaler utan dyr bortfallsanalys, fast det numera ofta handlar om väsentliga skillnader.

Ett bra exempel är det senaste USA-valet. Traditionella och välrenommerade opinionsinstitut som Gallup och Rasmussen visade genomgående under hela valkampanjen Romney som vinnare, medan det i efterhand visade sig att Obama ledde under i stort sett hela kampanjen och också vann. Dessa instituts siffror för Romney var statistiskt säkerställda inom felmarginalen vid flera specifika mättillfällen. Problemet var bara att de arbetade med ett skevt urval som inte speglade populationen. Nya metoder med webbpaneler som exempelvis YouGov och Ipsos träffade betydligt mer rätt och hade Obama som vinnare under hela valperioden. YouGov träffade också rätt i en unik mätning i alla swingstater under den sista veckan.

Det är just det här som är en av de stora utmaningarna för alla undersökare, dvs. att skapa ett urval som på ett relevant sätt representerar den population vi studerar samt att ha smarta lösningar i sina vägningsförfaranden. En undersökning om exempelvis bilägare, behöver korreleras emot bästa uppgifterna om bilinnehav och antal bilar per hushåll och politiska opinionsmätningar emot tidigare valresultat och andra faktorer som korrelerar väl med politisk hemvist. Det handlar om att skapa så kallade purposive samples, relevanta urval. Vi är bara i början och mycket kommer att hända inom detta område.

Min poäng är att ingen metod, oavsett insamlingssätt och rekryteringsförfarande, är fulländad. Det handlar om insikt om vilka brister som finns och förmågan att kunna hantera dessa. Mycket i undersökningsbranschen är idag ett hantverk. Med rätt kompetens kan man därför oavsett metod leverera tillförlitliga och relevanta resultat.

Lars Björkman, Affärsutvecklings- och Opinionschef YouGoV

Varning för självrekryterade paneler

Lars Björkman

mvredaktion