Maurizio Carpita
Le graduatorie delle riviste costruite nell’ultimo esercizio di Valutazione della Qualità della Ricerca (VQR 2004-2010) svolto nel 2012 dall’Agenzia Nazionale di Valutazione dell’Università e della Ricerca (ANVUR) hanno avuto negli anni successivi un impatto significativo su tutta la comunità scientifica italiana. Infatti, oltre che per l’erogazione di una parte (65% nel 2015) della quota premiale del finanziamento ordinario distribuito alle università e per la valutazione delle strutture di ricerca quali i dipartimenti come previsto dalla norma, le liste delle riviste della VQR 2004-2010 sono state usate per la selezione delle commissioni e la valutazione dei candidati dell’Abilitazione Scientifica Nazionale, per la valutazione della composizione dei collegi didattici dei dottorati di ricerca e in alcuni atenei per la distribuzione dei fondi di ricerca individuali. Sebbene le procedure decise dai Gruppi di Esperti Valutatori (GEV) nominati dall’ANVUR siano state criticate (per l’Area 13 Scienze Economiche e Statistiche: SIS, 2014 – Baccini), nei primi mesi di quest’anno si è conclusa la fase di raccolta dei prodotti di ricerca per la VQR 2011-2014.
Anche per la nuova VQR le liste delle riviste sono state create usando gli indici derivati dalla cosiddetta bibliometria, una metodologia di classificazione automatica delle riviste scientifiche che nasce a metà del secolo scorso negli Stati Uniti per iniziativa dell’Institute for Scientific Information (ISI) fondato da Eugene Garfield, padre del ben noto Impact Factor (IF). Garfield aveva però a suo tempo sconsigliato l’uso esclusivo degli indici bibliometrici, creati primariamente con lo scopo di orientare le scelte di acquisto delle biblioteche (WOS, 2016). I sostenitori dell’uso della bibliometria per la valutazione dei prodotti della ricerca ritengono che questa sia l’unica procedura “oggettiva” per classificare una rivista (il contenitore), dalla quale può essere poi dedotta per proprietà transitiva la classificazione di un articolo (il contenuto), con ovvi vantaggi in termini di eliminazione di eventuali interventi esterni distorsivi, di riduzione dei tempi e costi della valutazione. Anche se non si può negare che la bibliometria possa essere un utile strumento, da tempo sono però ben noti anche gli effetti negativi che questa può determinare sulla ricerca scientifica: orientamento forzato dei temi di ricerca e delle strategie di pubblicazione, penalizzazione degli studi interdisciplinari, di nicchia e d’interesse nazionale. Tali criticità sono amplificate per le scienze statistiche, per loro natura disposte all’interdisciplinarietà e con molti prodotti della ricerca pubblicati in riviste di un certo prestigio ma senza IF: secondo i dati CINECA aggiornati all’inizio del 2015, considerando le prime 10 riviste per numero di articoli scritti dagli statistici italiani dal 2002 al 2014 (circa un quinto di tutti gli articoli pubblicati nel periodo), il 60% di questi prodotti ha trovato collocazione in 5 riviste italiane senza IF. Vale poi la pena ricordare che da alcuni anni le organizzazioni di valutazione della ricerca nel Regno Unito e in Australia hanno apertamente abbandonato l’uso della bibliometria pura, che è stata criticata anche nella Declaration On Research Assessment, promossa dall’American Society for Cell Biology (ASCB, 2012) e sottoscritta da un folto gruppo di ricercatori, organizzazioni ed editori di riviste scientifiche di livello internazionale; più recentemente, Nature ha pubblicato il Leiden Manifesto for Research Metrics (NAT, 2015).
Viste le criticità della bibliometria, negli ultimi anni si è sviluppato un approccio che molti addetti ai lavori ritengono più promettente. Pur non escludendo l’uso ragionato delle informazioni bibliometriche, questo modello si affida a un’ampia e periodica consultazione di esperti per valutare anche la reputazione delle riviste all’interno della comunità scientifica di riferimento: si ricordano in particolare l’esperienza della Francia per l’area di economia e management con il National Committee of Scientific Research (CNRS, 2016), di tre paesi nordici (Danimarca, Finlandia e Norvegia) con il Norwegian Centre for Research Data (NSD, 2016) e dell’Australia con l’Australian Reseach Council (ARC, 2015).
Pur in presenza di queste esperienze internazionali, in Italia l’ANVUR ha invece agito in modo diverso anche per la nuova VQR, conferendo in via esclusiva ai GEV (composti da pochissimi e selezionati studiosi) l’incarico di scegliere i criteri per la costruzione delle liste delle riviste scientifiche nelle diverse aree disciplinari. Di conseguenza, il rapporto dei GEV con le società scientifiche di riferimento dei diversi settori è stato fino a oggi del tutto occasionale e limitato al solo accoglimento di eventuali segnalazioni riguardanti specifiche riviste. È difficile comprendere l’atteggiamento di sostanziale chiusura dell’ANVUR nel coinvolgimento diretto delle società scientifiche, anche perché è difficile pensare che i GEV così come sono costituiti possano per definizione garantire classificazioni oggettive. A oggi l’ovvia conseguenza del modello VQR è stata la creazione di liste delle riviste basate su criteri eterogenei (quindi non comparabili), in cui si usano a volte metodi criticabili (come l’imputazione dell’IF alle riviste non ISI) e modificati in occasione dalla nuova VQR che sarà condotta dai nuovi GEV (creando quindi nuove incongruenze).
In conclusione, credo sia importante ricordare che in occasione della VQR 2004-2010, come altre società scientifiche anche la Società Italiana di Statistica ha proposto una classifica delle riviste del settore di riferimento, adottando una metodologia che combina informazioni bibliometriche con il criterio della reputazione nella comunità di riferimento (SIS, 2012 e 2014 – Carpita). Pur con le evidenti debolezze di quel primo tentativo di far convivere l’approccio “oggettivo” della bibliometria con l’approccio “soggettivo” della reputazione sviluppato nel contesto della VQR e malgrado alcune critiche condivisibili ma poco costruttive manifestate da alcuni soci della SIS, chi scrive è ancora oggi del parere che questa sia la strada principale da percorrere per ridurre le possibili distorsioni determinate dell’utilizzo della sola bibliometria e per creare maggior consenso verso l’importante e necessaria valutazione dei prodotti della ricerca.
Riferimenti
ARC (2015): www.arc.gov.au/era-2015
ASCB (2012): www.ascb.org/dora/
CNRS (2016): sites.google.com/site/section37cnrs/Home/revues37
NAT (2015): www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351
NSD (2016): https://dbh.nsd.uib.no/publiseringskanaler/Forside
SIS (2012): new.sis-statistica.org/nuova-classifica-delle-riviste/
SIS (2014): new.sis-statistica.org/wp-content/uploads/2014/12/statsoc-3_2014.pdf
WOS (2016): wokinfo.com/essays/impact-factor/
