Distribuireste 1,35 miliardi di Euro “sulla fiducia”, in base a numeri e calcoli che nessuno può verificare? Dopo la pubblicazione degli esiti della VQR, risalente al febbraio dell’anno scorso, l’ANVUR ha proseguito per mesi a modificare un centinaio di file del Rapporto finale. Quando la notizia è finita sulla prima pagina del Fatto Quotidiano, l’agenzia di valutazione ha ammesso le modifiche e, dopo un po’ di tempo, ha pubblicato un elenco dei file modificati. In questo post mostriamo che nell’Errata-Corrige di Anvur non sono elencati alcuni file che invece sono stati modificati e che alcuni dei file elencati hanno subito modifiche di cui non viene data segnalazione. Inoltre, notiamo che alcuni dei file modificati contengono informazioni utili al calcolo della classifica dei Dipartimenti di eccellenza. Una classifica i cui calcoli non sono replicabili in base ai dati pubblicati. Per ottenere i dati mancanti, è stata inoltrata all’Anvur una richiesta di accesso civico, ma è stata respinta. Al momento, pertanto non esiste modo di verificare la correttezza della classifica sulla base della quale verranno distribuiti 1,35 miliardi di Euro in cinque anni.

1. Ci si può fidare dell’Errata-Corrige di Anvur?

Come è noto, dopo la pubblicazione degli esiti della VQR, l’ANVUR ha proseguito per mesi a modificare i file del Rapporto finale. Questo “work in progress” è stato denunciato l’11 luglio 2017 da Laura Margottini sul Fatto Quotidiano . ANVUR ha ammesso le modifiche e, dopo un po’ di tempo, ha pubblicato un elenco dei file modificati:

Questo è il file con l’elenco delle modifiche:

[per prevenire scomparse o modifiche ne abbiamo salvato una copia qui

ANVUR non ha reso disponibili i file originali e quindi non è possibile controllare se l’elenco delle modifiche riportato nella tabella sia fedele e completo.

In effetti, qualcosa non torna. A titolo di esempio, nella tabella ANVUR scrive che:

il file VQR2011-2014_TerzaMissione.pdf è stato modificato solo il 5 maggio 2017;

la modifica riguarda solo “correzione numerazione paragrafi e tabelle“.

Nel caso del file VQR2011-2014_TerzaMissione.pdf, abbiamo rintracciato la versione originale e altre due versioni successive:

Ecco, cosa abbiamo scoperto.

In base al confronto, possiamo dire che

ci sono state almeno tre diverse versioni del file: 18 febbraio, 2 maggio, 5 maggio; le modifiche non si sono limitate a “correzione numerazione paragrafi e tabelle”; nel file del 18 febbraio, infatti, mancavano tutte le tabelle che sono poi comparse in quello del 2 maggio; nel file del 5 maggio sono stati modificati alcuni voti rispetto al 2 maggio.

I voti modificati non incidono sulla ripartizione dei finanziamenti, perché la valutazione della terza missione è ancora considerata in fase sperimentale. Tuttavia, l’esempio mostra che l’elenco delle modifiche pubblicato da Anvur meriterebbe di essere sottoposto a una verifica sistematica. Una verifica sistematica che è attualmente impossibile senza le versioni originali dei file, non più ripubblicate da Anvur.

2. Il Rapporto VQR? Un atto “non ufficiale”

I voti della VQR servono a ripartire la fetta più grande della cosiddetta “quota premiale” del Fondo di Finanziamento Ordinario. C’è da essere preoccupati? Per nulla, è la risposta di Anvur che nel suo comunicato ha scritto:

ANVUR ribadisce che le modifiche apportate a questi documenti non derivano da (o implicano) alcuna revisione ai dati utilizzati dal MIUR ai fini della ripartizione dell’FFO 2016 e pubblicati il 12 gennaio 2017.

In effetti, il MIUR aveva già ricevuto i dati utili alla ripartizione più di un mese prima della pubblicazione dei file del Rapporto Finale della VQR. Tanto è vero che, intervistato dal Fatto Quotidiano, il Direttore dell’Agenzia, Sandro Momigliano, ha dichiarato:

ritengo che il rapporto Vqr pubblicato sul sito di Anvur, in sé non sia da considerarsi un atto ufficiale, ma un documento che ha come finalità la massima diffusione delle informazioni ai cittadini, in merito alla di valutazione 2011-2014

Una risposta che però lascia aperte due questioni.

In primo luogo, come osservato da Laura Margottini sul Fatto Quotidiano, sappiamo che dopo il 21 febbraio Anvur ha corretto i voti di alcuni docenti:

C’è un caso accertato. Ad Alberto Baccini, ordinario di economia Politica all’Università di Siena, l’Anvur ha cambiato il voto dopo il 21 febbraio perché ha riscontrato un errore e ha poi comunicato il voto corretto al docente. Quel voto cambia anche il giudizio sul dipartimento acui afferisce Baccini. La modifica dovrebbe quindi riflettersi nelle percentuali presenti nelle tabelle dei file di area corrispondente.

Ma se il vero atto ufficiale sono i dati aggregati inviati al Ministero dell’Istruzione (che non risulta siano stati rettificati), quante VQR esistono?

Esiste una prima VQR usata per ripartire la quota premiale dell’FFO, che contiene degli errori, riconosciuti dall’agenzia di valutazione, ma che, ciò nonostante, rimane immutata.

E poi esiste una seconda VQR, più fluttuante, quella dei voti che i singoli docenti leggono nelle loro pagine personali. Voti che sono stati talvolta rettificati, ma senza che questo vada ad influenzare l’atto ufficiale in base al quale sono ripartiti i finanziamenti.

Ancora più spinosa la seconda questione. Infatti, nonostante il tentativo del Direttore Momigliano di declassare i file pubblicati sul sito dell’Anvur ad atti non ufficiali, questi stessi file contengono dati che entrano in modo determinante nei calcoli con cui verranno distribuiti 1,35 miliardi di Euro destinati ai cosiddetti Dipartimenti di eccellenza.

3. Dare 1,3 miliardi basandosi su atti non ufficiali

Infatti, per calcolare il controverso indicatore ISPD non sono sufficienti i dati aggregati che Momigliano ritiene essere il vero “atto ufficiale”. Per calcolare i voti ISPD dei singoli dipartimenti occorre conoscere i voti medi di ciascuno settore scientifico disciplinare presente nel dipartimento. Un’informazione che non risulta fosse stata comunicata al MIUR insieme ai dati aggregati e che fa capolino solo nelle Tabelle di area pubblicate il 21 febbraio.

Ebbene, tra i file modificati presenti nella lista ANVUR ci sono delle Tabelle di area che contengono dati necessari per il calcolo dell’indice ISPD, utilizzato per stilare la classifica dei dipartimenti di eccellenza. Eccone due:

VQR2011-2014_Area11a_Tabelle.pdf

VQR2011-2014_Area11b_Tabelle.pdf

Secondo ANVUR si tratta modifiche che non toccano i voti, ma, in assenza degli orginali, è una rassicurazione che bisogna accettare sulla fiducia.

Ma non è finita. Ci sono dei file che sono stati modificati e che non compaiono nell’elenco pubblicato da ANVUR. Eccone uno:

VQR2011-2014_Area13_Tabelle.pdf

[per prevenire ulteriori scomparse o modifiche ne abbiamo salvato una copia qui

21 aprile 2017, tre mesi dopo la data ufficiale di pubblicazione dei risultati della VQR e meno di un mese prima della pubblicazione degli ISPD. Basta aprire le proprietà del file ( http://www.anvur.org/rapporto-2016/files/Area13/VQR2011-2014_Area13_Tabelle.pdf ) per scoprire che la data di ultima modifica è, tre mesi dopo la data ufficiale di pubblicazione dei risultati della VQR e meno di un mese prima della pubblicazione degli ISPD.

Nella sua lista dei file modificati, ANVUR dichiara cambiamenti marginali nella versione “eng” (English) di queste tabelle, senza dire che ha cambiato anche la versione italiana. Anche questo è un file che contiene dati che entrano nel calcolo della classifica dei dipartimenti di eccellenza.

Insomma ci troviamo nella poco piacevole situazione di distribuire 1,35 miliardi di Euro sulla base di quelli che il Direttore dell’Anvur definisce “atti non ufficiali”, con file che appaiono e scompaiono. A giudicare dalla lista pubblicata sul suo sito, non è nemmeno certo che l’agenzia abbia tenuto traccia delle modifiche: come abbiamo mostrato, non sono elencati alcuni file che invece sono stati modificati e alcuni dei file elencati hanno subito modifiche di cui non viene data segnalazione.

4. «Non vi sono state nè potevano esserci manipolazioni»

Da gennaio ad aprile dello scorso anno il sito dell’agenzia di valutazione è stato in balia degli hacker. Ecco come si presentava la home page nella prima metà di aprile:

Quando, come extrema ratio, il sito era stato messo off line, sulle colonne del Sole 24 Ore, Dario Braga aveva osservato che:

da un lato, il blackout mette in evidenza la vulnerabilità del sito di una Agenzia Nazionale e dall’altro dimostra che c’è chi può avere interesse a manipolare i dati sulla valutazione delle università e della ricerca. Vista la durata del blackout c’è da pensare che le sospette manipolazioni dei dati possano essere severe. Attacco hacker al sito dell’Anvur: «Attività sospette di alterazione dei contenuti», Sole 24 Ore, 11.04.2017

Anvur aveva reagito pubblicando questo avviso:

Grazie all’inchiesta del Fatto Quotidiano, sappiamo che mentre questo comunicato appariva sulla home page dell’agenzia, diversi file del Rapporto VQR erano già stati modificati. Solo correzioni di refusi, se prestiamo fede all’agenzia. Come mai, allora, l’elenco dei file modificati è incompleto? Se l’agenzia aveva la situazione sotto controllo, dovrebbe sapere quali file sono stati toccati e quali no.

5. Dipartimenti di eccellenza: una classifica “sulla fiducia”

Per verificare se la classifica preliminare dei 352 dipartimenti ammessi alla seconda fase dei “Ludi dipartimentali” era coerente con gli esiti pubblicati il 21 febbraio 2017, occcorrerebbe rintracciare tutti i file originali. Nell’attesa, verrebbe voglia di replicare il calcolo dell’indicatore ISPD usando i dati attualmente presenti sul sito dell’agenzia. Purtroppo, è un tentativo votato all’insuccesso. Infatti, i dati pubblicati non sono completi, perché quando il numero di prodotti attesi di un dipartimento relativi ad un SSD è inferiore a cinque, il loro voto medio non viene riportato nelle tabelle degli esti della VQR.

Come nostri lettori già sanno, abbiamo fatto richiesta di accesso agli atti utilizzando la procedura FOIA separatamente nei confronti di MIUR e ANVUR. MIUR ha risposto che il trattamento dei dati è compito di ANVUR. ANVUR ha risposto che non rende pubblici i dati [il grassetto è nostro]:

SINTESI DELLA RISPOSTA NEGATIVA DELL’ANVUR

Si fa riferimento alla richiesta di accesso civico generalizzato trasmesso dalla S.V. in data 4 agosto 2017 concernente l’acquisizione dei dati utilizzati nell’ambito della procedura di cui all’art. 1, commi 314-337, della legge n. 232/2016, con la finalità di riprodurre e verificare la correttezza dell’indicatore (ISPD) utilizzato per la predisposizione dell’elenco dei dipartimenti di cui al comma 320 del citato articolo. Sulla base degli approfondimenti effettuati, si comunica che non è possibile accogliere la richiesta di accesso civico generalizzato avanzata dalla SV, in quanto, ai sensi di quanto previsto dall’art. 5- bis, comma 2, lett. a) del d.lgs n.33/2013, verrebbe arrecato pregiudizio concreto alla protezione dei dati personali di singoli docenti e ricercatori in conformità alla disciplina legislativa in materia. Infatti, tenuto conto che è possibile risalire alla valutazione conseguita dal singolo docente/ricercatore nel caso lo stesso appartenga a settori scientifici disciplinari composti da un numero limitato di membri per ogni dipartimento, l’ostensione dei dati richiesti consentirebbe, in un terzo dei casi, l’associazione della valutazione al singolo docente/ricercatore che vedrebbe pertanto leso il suo diritto all’anonimato. […]

Va precisato, altresì, che qualora si omettesse l’ostensione dei dati per un terzo dei prodotti, nel rispetto delle disposizioni in materia di protezione dei dati personali, verrebbe meno la possibilità di riprodurre e verificare la correttezza dell’indicatore (ISPD), obiettivo per il quale è stata avanzata la richiesta di accesso agli atti.

Ammesso e non concesso che questa sia una valida ragione per opporre un diniego, vuol dire che Anvur ha elaborato un indicatore (ISPD) che nessuno avrebbe potuto sottoporre a verifica. Considerando l’intero finanziamento quinquennale, stiamo distribuendo 1,35 miliardi sulla fiducia che Anvur non abbia commesso errori. Se in modo accidentale qualcuno avesse alterato i punteggi causando l’inclusione o l’esclusione di qualche dipartimento, non ci sarebbe modo di venirlo a sapere. Inutile dire che esistevano 1000 e un modo di costruire una classifica che fosse almeno verificabile a partire dai dati VQR.