La valutazione della ricerca si basa sia su un approccio qualitativo, che si basa sul giudizio da parte di uno o più revisori che hanno analizzato direttamente un prodotto di ricerca sia su uno quantitativo e utilizza diversi metodi:
- l'analisi bibliometrica
- il panel
- la peer review
- l'analisi costi-benefici
- il grado di internazionalizzazione
La valutazione quantitativa consiste nella costruzione, attraverso strumenti statistici più o meno complessi, di indicatori basati sulla misurazione della qualità o dell’impatto della ricerca.
Gli indici che misurano l’impatto della ricerca, possono essere BIBLIOMETRICI, NON BIBLIOMETRICI (il conseguimento di premi e riconoscimenti attribuiti da società scientifiche, i dati riferiti ai fondi di ricerca ricavati, il numero di partecipazioni su invito a conferenzee, etc.) e ALTMETRICI:
- nr. di citazioni della rivista su cui è stato pubblicato l’articolo (Impact Factor, Eigen Factor, Google Scholar Metrics, G Index, book citation index…)
- nr. di citazioni / autore (H-index; Hc-index )
- valutazione citazionale (Web of Science; Scopus, Google Scholar)
- importanza del “citante” (rivista, autore)
- nr. di citazioni ricevute dal “pre-print” dell’articolo (Nature proceedings)
- metriche alternative al di fuori degli archivi bibliografici e citazionali basate sul web e in particolar modo sui social (web metrics e metriche alternative)
Scienza aperta e valutazione
Un recente Rapporto della Commissione Europea (2017) ha riconosciuto che ci sono fondamentalmente due approcci all’implementazione della Scienza Aperta e al modo in cui i riconoscimenti e la valutazione possono favorirla:
- dare una maggiore apertura e costruire metriche adatte;
- sperimentare pratiche alternative di ricerca e valutazione, dati aperti, scienza partecipativa e risorse di insegnamento e apprendimento aperte.
Enti finanziatori ed istituzioni si stanno muovendo sempre di più verso queste due direzioni, prendendo distanza, ad esempio, dai semplici conteggi numerici e includendo nei loro esercizi di valutazione resoconti e indicazioni sull’impatto sociale.
Il dibattito accademico sui metodi di valutazione della ricerca
A livello internazionale, la comunità scientifica sta discutendo e riflettendo sull’utilizzo degli strumenti bibliometrici tradizionali per la valutazione delle riviste - ad esempio l’Impact Factor - per la concessione di finanziamenti e per la selezione e l’avanzamento di carriera dei ricercatori. Nel 2012 con la dichiarazione di San Francisco sulla valutazione della ricerca (DORA Declaration on Research Assessment) i firmatari della dichiarazione hanno proposto di utilizzare un più articolato ventaglio di indicatori bibliometrici unitamente a strumenti di valutazione di carattere qualitativo.
In Italia, nel 2013 e in seguito alla Riforma Gelmini, si è costituito un gruppo di accademici ed esperti provenienti da diverse discipline che scrive e si confronta pubblicamente e in maniera critica del tema della valutazione della ricerca scientifica, abilitazione, reclutamento etc. Articoli scientifici, contributi, video e slide sono disponibili sul sito internet ROARS (Return on Academic Research).
Chi valuta la ricerca in Italia?
- il Comitato Nazionale dei Garanti per la Ricerca (CNGR)
- l’Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca (ANVUR)
- REPRISE, registro di esperti scientifici indipendenti