Si è conclusa da poche settimane la quarta edizione della Valutazione della Qualità della Ricerca (VQR), relativa al periodo 2020-2024. L’esercizio, condotto dall’ANVUR, ha analizzato la produzione scientifica di 132 istituzioni, tra cui 100 università e 13 enti di ricerca, valutando quasi 200.000 pubblicazioni scientifiche e coinvolgendo oltre 75.800 ricercatori . Si tratta di un’operazione di enorme portata, i cui risultati saranno determinanti per la ripartizione della quota premiale del Fondo di Finanziamento Ordinario (FFO) .
Per aiutare atenei e dipartimenti a orientarsi in questo mare di dati, abbiamo reso disponibile una nuova applicazione che semplifica l’analisi dei risultati. La mole di informazioni prodotte è impressionante, e la piattaforma permette di disaggregare i dati per singolo dipartimento e per università, visualizzando immediatamente i punti di forza e di debolezza, e facilitando il confronto tra diverse aree disciplinari.
L’obiettivo è rendere la valutazione uno strumento di miglioramento, non un semplice verdetto. La piattaforma è basata sulle tabelle ufficiali rilasciate dall’ANVUR e riporta, in modo acritico, le valutazioni medie e l’indice R (rapporto tra media particolare dell’istituzione/dipartimento e media generale per Area, GSD o SSD).
I due indici presentano forti criticità. La media delle valutazioni, in particolare, non risente della variabilità nei giudizi conferiti dai panel di esperti. Anche l’indice R, pur nato con l’intento di rendere comparabili le performance aggregate per istituzione o dipartimento nelle rispettive Aree, GSD o SSD, in qualche misura eredita parte di questa semplificazione, soprattutto perché la valutazione media è pur sempre un numero compreso tra 0 e 1, influenzando il valore massimo che può essere osservato per l’indice R all’interno delle Aree, GSD e SSD. Per avere una rapida visione della diversità di distribuzione dei giudizi dei prodotti nei vari GEV e sotto-GEV, potete fare riferimento ad una piccola infografica ho preparato.
Il quadro complessivo: un sistema meno polarizzato
I primi commenti sui risultati restituiscono l’immagine di un sistema universitario meno polarizzato di quanto si temesse.
Analizzando l’indicatore R, che misura la qualità della ricerca di un ateneo rispetto alla media nazionale, si osserva che i valori delle università statali sono quasi tutti vicini a questa soglia . Le eccellenze non mancano, con atenei come Padova (1,065), Trento (1,060) e Milano Bicocca (1,057) ai vertici, ma anche grandi università del Centro-Sud come La Sapienza (1,005) e la Federico II (1,015) si posizionano sopra la media.
Sul fronte degli indicatori specifici, emergono eccellenze particolari: l’Università di Siena, ad esempio, è risultata prima in Italia per capacità di attrarre finanziamenti competitivi internazionali , mentre l’Università di Udine brilla nella formazione dottorale e nella qualità del reclutamento.
L’ombra della bibliometria e il caso COARA
Nonostante questi segnali positivi, non mancano le critiche. Il dibattito si è concentrato soprattutto sulla metodologia adottata, in particolare sul peso della bibliometria, che sembra entrare in tensione con gli impegni europei.
L’ANVUR, come noto, ha aderito alla coalizione europea COARA, Coalition for Advancing Research Assessment, nata nel 2022 su iniziativa della Commissione Europea per riformare la valutazione della ricerca, attraverso l’“Agreement on Reforming Research Assessment” (ARRA), che promuove una valutazione della ricerca basata principalmente su criteri qualitativi e sulla peer review, riducendo il ricorso a metriche quantitative usate in modo improprio, come l’H-index. Tuttavia, alcuni osservatori, tra cui l’Associazione Italiana per la Promozione della Scienza Aperta (AISA), ritengono che l’Agenzia non abbia tradotto pienamente in pratica questi impegni, mantenendo un ruolo significativo degli indicatori bibliometrici nella valutazione. In particolare, è stato osservato che, nell’anonimato del processo di revisione, non è possibile escludere che l’informazione bibliometrica continui a incidere in modo rilevante sul giudizio finale. Andando un po’ più in profondità, le istituzioni hanno presentato prodotti consapevoli che sarebbero stati valutati in base a originalità, metodologia e impatto è evidente che i panel e i sub-panel di esperti, anche a causa delle diverse tradizioni di ricerca, non sempre hanno potuto adottare la medesima traduzione operativa di valutazione per i tre aspetti. A ciò si aggiunge un’altra criticità statistica, ovvero che i punteggi assegnati per i tre aspetti erano, spesso, “semplicemente” sommati tra di loro, come se i tre aspetti fossero “incorrelati” e, soprattutto, come se nelle diverse tradizioni di ricerca avessero lo stesso peso. Ma l’esperienza ci dice che questa ipotesi è alquanto lontana dall’essere accettabile per tutti i settori scientifici nella realtà. In particolare, una delle principali fonti di differenziazione potrebbe essere stata la diversa sensibilità nella misurazione dell’impatto. Se per impatto, venisse considerato, ad esempio, il numero di citazioni, è abbastanza noto che la velocità di acquisizione delle citazioni è molto diversa da settore a settore. Un secondo esempio, ben noto, è che gli articoli di review sono spesso meno originali di uno scientific paper, ma tendono ad attrarre più citazioni. Infine, esistono i cosiddetti settori in hype, dove si producono pubblicazioni ad un ritmo tale che un paper scritto sei mesi fa, risulta oggi obsoleto (si pensi alla letteratura su tematiche di Intelligenza Artificiale).
La critica di fondo è che la bibliometria misuri soprattutto l’impatto, non la qualità intrinseca della ricerca.
Come ricordava William Edwards Deming, “senza dati sei solo un’altra persona con un’opinione”, ma il punto è proprio distinguere tra dati che aiutano a comprendere e dati che finiscono per semplificare eccessivamente la realtà. Si tratta di un compromesso fragile, che rischia di trasformare la ricerca in una merce all’interno di un mercato oligopolistico dominato dalle grandi case editrici.
Due domande finali
Una domanda alla quale noi statistici possiamo dare una risposta solida è se esistano rimedi a queste storture, che inevitabilmente, essendo meno percepite dai policy makers e dalle governances degli atenei che hanno bisogno di strumenti sintetici (a volte troppo) per delineare le strategie di sviluppo, non riescono a tener conto delle disomogeneità tra i diversi settori di ricerca.
Conoscendo molti colleghi, la loro preparazione ed esperienza, la risposta non può che essere affermativa, e l’invito è a far sentire, nelle sedi opportune, l’autorevolezza dei nostri studi. So, che la Società Italiana di Statistica saprà fornire tutto il suo supporto per una giusta ed equa valutazione della ricerca.
Una domanda che merita una riflessione più profonda è se, partendo dal presupposto che ogni ente presenti i propri “gioielli” di ricerca e che la valutazione abbia un impatto sulla distribuzione di risorse purtroppo esigue nel sistema italiano, sia possibile immaginare un sistema più trasparente — come molte critiche sollecitano — che, pur garantendo privacy e anonimato, consenta a enti o ricercatori esterni di verificare la coerenza tra le valutazioni ricevute e le aspettative di chi conferisce i prodotti. In questo senso, come avrebbe potuto osservare Norberto Bobbio, “la competenza ha bisogno di controllo”. Probabilmente, una selezione dei revisori simile a quella adottata nel REF anglosassone potrebbe mitigare eventuali contenziosi.
