Vi har länge vant oss vid dystra rubriker när resultaten från internationella prov presenteras. I princip varje undersökning under 2000-talet har visat en negativ kunskapstrend bland svenska elever.

Men nu kan en vändning skönjas. Förra veckan presenterades resultaten från Timss 2015, som visade att kunskaperna i läroplansbaserad matematik och naturvetenskap har förbättrats sedan 2011.

I dag visar resultaten från Pisa 2015 liknande förbättringar. I huvudämnet naturvetenskap har resultaten ökat med icke-statistiskt säkerställda 8 poäng (till 493 poäng) sedan 2012, medan elevernas prestationer i matematik och läsförståelse har ökat med statistiskt säkerställda 16 respektive 17 poäng (till 494 respektive 500 poäng).

Tyvärr kan vi dock inte lita på förändringarna i Pisa. Detta eftersom den senaste undersökningen var den första där elever skrev proven på dator istället för med papper och penna – vilket i sig kan påverka resultaten.

Forskning indikerar mycket riktigt att länders matematikresultat i Pisa 2012 ofta skiljde sig markant mellan huvudprovet och ett kortare datorbaserat prov, som då testades för första gången. Exempelvis presterade Polen 28 poäng sämre – och Sverige 12 poäng bättre – bland elever som skrev provet på dator, jämfört med de som skrev provet med papper och penna.

Det finns flera anledningar till detta. Elever i olika länder kan exempelvis vara olika vana vid att använda datorer i utbildningen. På det datorbaserade provet måste elever också svara på frågorna i samma ordning – och kan därför inte gå tillbaka och ändra sina svar under provets gång. Detta kan påverka elever i olika länder på olika sätt.

Det är därför slående att högpresterande nationer som presterade sämre på det datorbaserade, jämfört med det pappersbaserade, matematikprovet i Pisa 2012 i vissa fall har fallit kraftigt i den nya undersökningen.

Exempelvis rasade Hong Kong med hela 32 poäng – och Polen med 24 poäng – i naturvetenskap, medan Taiwan föll med 26 poäng i läsförståelse. Även Sydkoreas fall med 30 poäng i matematik – och Japans med 22 poäng i läsförståelse – är iögonfallande.

Dessa anmärkningsvärda försämringar över endast tre år är jämförbara med Sveriges fall över tolv år mellan 2000 och 2012. De skiljer sig också markant från trenderna i Timss, som fortfarande skrivs med papper och penna. Att försämringarna helt och hållet reflekterar sjunkande kunskaper ter sig därför otroligt; övergången till datorer har sannolikt haft ett finger med i spelet.

Likaså har flera länder som presterade bättre på det datorbaserade, jämfört med det pappersbaserade, matematikprovet i Pisa 2012 – inklusive Sverige, Norge och Ryssland – också förbättrat sina resultat i den senaste undersökningen.

Men om vi istället jämför de svenska matematikresultaten i Pisa 2015 (494 poäng) med resultaten i Pisa 2012 bland elever som också då skrev provet på dator (490 poäng), raderas faktiskt uppgången nästan helt och hållet.

Det är alltså oklart om förändringarna över tid i Pisa kan förklaras av verkliga kunskapsförändringar, snarare än förändringar i provformatet. Tyvärr verkar OECD här ha gjort en rejäl blunder som inte får ignoreras i debatten.

Sammantaget indikerar resultaten i Timss och Pisa trots allt att botten nu är nådd. Detta är glädjande. Samtidigt är svenska elevers absoluta (och relativa) nivåer fortfarande ganska medelmåttiga; även om vi bortser från OECD:s blunder har vandringen mot den internationella toppen bara börjat.

Det är alltså oklart om förändringarna över tid i Pisa kan förklaras av verkliga kunskapsförändringar, snarare än förändringar i provformatet. Tyvärr verkar OECD här ha gjort en rejäl blunder som inte får ignoreras i debatten.

Det här är en opinionstext publicerad i Dagens Samhälle. Åsikterna som uttrycks i artikeln står skribenten för.