La nuova valutazione della ricerca in UK: no ai dati citazionali, gerarchie di journals, IF ed analisi bibliometrica

Alessandro Carretta 1 dicembre, 2013 2 comments

Al via la Valutazione della Ricerca in UK: No all’utilizzo di dati citazionali, gerarchie di journals, IF ed analisi bibliometrica in “Business and Management Studies”.  di Massimo Sargiacomo

Prende avvio il nuovo sistema di  valutazione della ricerca 2008-13 in UK, denominato Research Excell ence Framework (REF), che prende il posto del precedente RAE. Come ben spiegato sul sito web, il REF è un processo di “expert review”, e le Istituzioni invieranno le loro submissions a 36 “Units of Assessment” (UOA),o Unità di Valutazione. I prodotti di ricerca saranno valutati da un sub-panel di esperti per ogni UOA. Le Università invieranno sino a 4 prodotti di ricerca per ogni componente dello staff di ricerca. Dei sub-Panels – relativi alle  36 “Units of Assessments” (UOA) – aggruppati in 4 macro Panel, faranno parte non solo Universitari o componenti di enti di ricerca, ma anche ” research users”.

La qualità dei prodotti di ricerca avrà un peso del 65%, ma grande importanza sarà tributata anche alla valutazione dell’”Impatto della ricerca” al di fuori dell’Accademia (20% di peso, destinato a crescere in futuro), che costituisce una novità di tutto rilievo rispetto al precedente RAE. La valutazione del “research environment” avrà invece un peso del 15%.

E’ importante preliminarmente sottolineare che i criteri di valutazione per singolo macro Panel e sub Panels sono stati resi noti a Gennaio 2012 – ma essi circolavano in forma di drafts già nel 2011 fra le associazioni accademiche per commenti, modifiche ed integrazioni. Alla luce degli stessi le Università hanno avuto circa due anni di tempo per preparare le submissions nel corso del  2012-13 con grande oculatezza, non essendoci asimmetrie informative fra valutatori e valutati.

I Panels di esperti valuteranno i prodotti di ricerca nel corso del 2014, e l’uscita dei risultati è programmata per il 31.12.2014. Il Finanziamento in UK – a partire  2015 – sarà allocato sulla base dei risultati del REF 2014.

La scala di valutazione della qualità della ricerca – volta a rintracciare “originality, significance and rigour” è la seguente:

4* World-leading

3* Internationally excellent

2* Internationally recognised

1* Nationally recognised

U Unclassified

L’impatto dei casi di studio al di fuori dell’Accademia, definito come

any effect on, change or benefit to the economy, society, culture, public policy or services, health, the environment or quality of life, beyond academia.”

 

sarà valutato sulla base della seguente scala:

 

4* Outstanding impact

3* Very considerable impact

2* Considerable impact

1* Recognised but modest impact

U Unclassified

Il documento chiave per il Panel C – dov’è ricompreso il Sub-Panel UOA 19 “Business and Management Studies” è il seguente:

http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_2C.pdf

 

La UOA 19 “Business and Management Studies” è inclusa con il seguente gruppo di Sub-Panels all’interno del macro Panel C:

16 Architecture, Built Environment and Planning

17 Geography, Environmental Studies and Archaeology

18 Economics and Econometrics

19 Business and Management Studies

20 Law

21 Politics and International Studies

22 Social Work and Social Policy

23 Sociology

24 Anthropology and Development Studies

25 Education

26 Sport and Exercise Sciences, Leisure and Tourism

 A sua volta, la UOA 19 ” Business and Management Studies”  è declinata nelle seguenti aree di ricerca:

 

  • Accounting and Finance;
  •  Business history;
  • Business and industrial economics;
  • Corporate governance and risk management;
  • Corporate social responsibility;
  • Employment relations;
  •  Entrepreneurship and small firms;
  • Human resource management;
  • Information management and business systems;
  • Innovation and  technology management;
  • International business;
  • Management education and development;
  • Management science;
  • Marketing;
  • Operations and project management;
  • Organisational psychology;
  • Organisational studies;
  • Public sector management;
  • Public services and third sector;
  • Service management;
  • Strategic management;
  • and any other field or sub-field aligned to business and management.

 Di assoluto rilievo appare il fatto che nel paragrafo 38, fra i criteri generali di valutazione di tutto il macro Panel C viene sottolineato che nessun sub-panel utilizzera’:

“journal impact factors or any hierarchy of journals in their assessment of outptus”.

Inoltre, con ancora maggiore enfasi, viene evidenziato nel paragrafo 64 – che tratta dei “Citation Data”-  che i sub-panels 16, 17, 19, 20, 21, 22, 23, 24, 25 and 26 ( ovvero tutti quelli del Macro Panel C, con la sola esclusione del sub-Panel 18 “Economics and Econometrics”):  

“will neither receive nor make use of citation data, or any other form of bibliometric analysis including journal impact factors

Altra novità di rilievo è inserita al paragrafo 50 dei criteri del Panel C, dove  si nota la possibilità di richiesta di  “double-weighted products”, ovvero di “prodotti con doppio peso”,  diversi dagli articoli su riviste e dai capitoli di libro, in ragione del fatto che alcuni studi importanti per estensione ed ampiezza di ricerca  possono – per diverse ragioni – aver limitato la possibilità degli accademici di produrre sino a quattro prodotti di ricerca nel periodo oggetto di osservazione.

Sebbene non sia specificato, si  fa ovviamente riferimento a Monografie di ricerca referate, la cui richiesta di “doppio peso” sarà possibile inoltrare non solo nella UOA 19 “Business and Management Studies”, ma anche  nei Sub-panels 17 (Geography, Environmental Studies and Archaeology), 18 (Economics and Econometrics),  21 (Politics and International Studies) e 23 (Sociology).

La richiesta di “doppio peso” sarà condizionata all’invio di dichiarazioni di supporto ( di massimo 100 parole) utili a giustificare tale richiesta,  e nel paragrafo 52 viene anche specificato che non esiste alcuna presunzione che un prodotto con il doppio peso sarà valutato al livello più alto delle scale di valore.  

L’approvazione della richiesta di doppio peso – proveniente dalle istituzioni – può portare addirittura all’invio da parte di un accademico di soli due prodotti di ricerca, ovvero di uno “con doppio peso” e due “normali”. A titolo prudenziale nel paragrafo 54 si suggerisce alle istituzioni – ma non le  si obbliga – l’opzione di identificare ed allegare un prodotto di riserva per ogni richiesta di prodotto ” a doppio peso”. Ciò al fine di scongiurare l’ipotesi che la richiesta “di doppio peso” non sia accolta dal sub-Panel, e non siano presenti “prodotti di riserva”, talchè il sub-Panel sia poi costretto a valutare il “missing product” come “unclassified”. Ove invece la richiesta di “doppio peso” sia accettata, il “prodotto di riserva” non sarà oggetto di valutazione

Queste ed altre sono le novità introdotte nel REF 2014, alcune delle quali potrebbero essere discusse – ed eventualmente implementate – nel prossimo esercizio di valutazione della ricerca italiana.

Posts Correlati

  • rebora

    Segnalo in argomento il mio recente articolo (con M. Turri) pubblicato su research policy: http://www.sciencedirect.com/science/article/pii/S0048733313001133 che confronta gli esercizi inglesi RAE e REF di valutazione della ricerca con l’esperienza italiana VTR-CIVR e VQR. Trova evidente conferma il fatto che da noi è stato lasciato molto meno spazio a preparazione e discussione di questi esercizi, con conseguenze di non minore importanza che abbiamo cercato di analizzare.
    Gianfranco Rebora

  • Stefano Coronella

    Concordo appieno con quanto già rappresentato in argomento da Massimo Sargiacomo e Gianfranco Rebora.
    Al riguardo segnalo che anche in Australia nel nuovo esercizio di valutazione della ricerca ERA il sistema di journal ranking basato su una scala di 4 livelli da A*, A, B, C è stato annullato, preferendo la peer-review a qualsiasi forma di valutazione bibliometrica delle discipline (http://www.bam.ac.uk/news/australian-academy-science-welcomes-decision-drop-era-journal-rankings).

    Alla luce del fatto che nel Regno Unito ed ora anche in Australia sono stati vietati alcuni sistemi di valutazione della ricerca, e tenendo conto della vicinanza del possibile esercizio di valutazione della ricerca italiana 2011-2014, è sicuramente il caso di iniziare quanto prima a discutere pubblicamente della metodologia e dei criteri con cui gli aziendalisti dovranno essere valutati.

    Da tempo tutti ne parliamo nelle riunioni formali o informali delle nostre strutture, durante i congressi, nei corridoi dei dipartimenti e in ogni altra occasione di confronto accademico, ma se il prossimo esercizio di valutazione ci sarà veramente fra un
    anno, è assolutamente necessario che si cominci subito a discuterne in maniera strutturata, sperando che non sia già troppo tardi.
    Stefano Coronella