Efter att vi (YouGov) i veckan publicerade en ny opinionsmätning i samarbete med Metro, har diskussionen varit livlig.

Några har stöttat oss – andra har varit kritiska, som exempelvis Novus Torbjörn Sjöström i sin debattartikel på SVT Opinion.

När diskussionen hettar till bli argumenten ofta mycket fyrkantiga och dåligt underbyggda.

När man befinner sig i stormens öga verkar det ibland som om att ifall man tycker att resultaten verkar vara helt felaktiga så måste metoden vara skyldig!

Men är resultatet helt felaktigt? Och är det verkligen omöjligt att genomföra trovärdiga undersökningar med hjälp av öppna webbpaneler?

Jag anser, inte helt oväntat, att svaret på båda frågorna är nej. Låt mig utveckla min ståndpunkt.

Ingen kan svära sig fri från att en undersökning någon gång är mer skev än vad den normala osäkerhetsangivningen indikerar. Vi anger nämligen alltid osäkerheten med en 95-procentig konfidensnivå.

Det innebär att osäkerheten håller 19 gånger av 20, men därmed också att den inte gör det den 20:e gången.

Mina engelska kollegor kallar det mycket talande för en ”rogue poll”. Så var vår undersökning en ”rogue poll”?

Det verkar i mina ögon inte självklart.

Efter vår undersökning kom också två andra undersökningar – Sverige Tycker och Sentio – som inte är väsentligt annorlunda från vår mätning – även om de skiljer sig speciellt för C, S och SD.

Några av dessa skillnader kan enkelt förklaras med den politiska viktningsmatrisen (speciellt i hur vi hanterar gruppen osäkra väljare), men låt mig spara detta till sist.

Alla tre undersökningarna är baserade på öppna paneler och därför blir den förklaringen irrelevant om man absolut inte anser att öppna paneler kan eller bör användas. Och det tycker jag absolut att öppna paneler kan och bör!

Det har vi själva bevisat i en lång rad valundersökningar över hela världen – också i Sverige.

Låt mig dock här använda metodneutrala undersökningar som mer generellt visar metodens förmåga till träffsäkerhet.

Den amerikanske statistik-gurun, Nate Silver, redovisade metoderfarenheterna i samband med det amerikanska presidentvalet 2012 på sin blogg hos New York Times.

Hans slutsats var att de webbaserade mätningarna var mest exakta med en genomsnittlig avvikelse på 2,1 procent, institut som genomförde telefonintervjuer hade en genomsnittlig avvikelse på 3,5 procent medan de institut som använder så kallade ”robocalls”, hade en genomsnittlig avvikelse på 5,0 procent.

Ännu mer relevant är kanske en vetenskaplig studie från en grupp forskare vid Göteborgs universitet, som på våren 2013 undersökte skillnader i demografisk exakthet beroende på urvalsmetod (hur man väljer ut sina stickprov).

Undersökningen visade att de båda öppna panelerna i undersökningen hade den minsta genomsnittliga avvikelsen på en rad demografiska variabler (SCB).

Jag anser mig alltså kunna dokumentera att metoden med de öppna panelerna har bevisat sin förmåga att mäta exakt i verkligheten.

Låt mig utnyttja tillfället att introducera en annan viktig parameter, den politiska viktningsmatrisen, som i mina ögon har lika stor betydelse för skillnaderna i opinionsmätningarna som valet av urvalsmetod (telefon eller webpaneler).

Det visade i varje fall ett exempel från Norge under hösten 2012, där Fremskrittspartiet pendlade mellan 10 och 20 procent i opinionsmätningarna.

Detta fick en rad institut att gå samman och jämföra rådata. Vilket visade att de faktiska skillnaderna var rätt små – det var institutens val av politisk viktningsmodell som orsakade de stora svängningarna.

Om man jämför den nya undersökningen från Sverige Tycker med vår undersökning, så har behandlingen av osäkra väljare förhållandevis stor betydelse i en tid där vandringar mellan partierna är så kraftig.

Sverige tycker frågar nämligen dem, som inte vet vilket parti de skulle rösta på idag, ytterligare två gånger – ”Vilket parti lutar det mot?” och de som inte svarar på denna heller får följdfrågan ” Vilket parti tycker du är minst dåligt?”.

Den frågan har vi valt att inte inkludera i våra partisympatisiffror hos YouGov och därför kommer vi alltid att ligga lite lägre på partier med höga andelar av tvivlare (just nu S) och högre på partier med mycket hög väljarlojalitet (just nu SD).

Det är helt enkelt och i mina ögon ett exempel på att diskussionen inte alltid är så svart-vit när det gäller metodfrågor.