In un precedente articolo abbiamo parlato dell’Impact Factor (IF), un indice bibliometrico attraverso il quale viene misurato il numero medio di citazioni ricevute in un determinato anno dagli articoli pubblicati da una rivista nel biennio precedente all’anno preso in considerazione.

Nonostante l’IF sia un parametro di riferimento consolidato, ampiamente utilizzato e relativamente ben compreso, il metodo di calcolo e la sua applicazione hanno sollevato negli anni numerose critiche.

Nato come strumento di supporto per i bibliotecari nella scelta delle riviste a cui abbonarsi, negli ultimi anni l’IF è stato il parametro più utilizzato per definire il valore e il prestigio di una rivista. L’IF non è un indice univoco di qualità di una rivista, ma consente di stilare graduatorie per le varie categorie tematiche adottate dal Journal Citation Report (JCR), fornendo un’indicazione dell’impatto della rivista nella comunità disciplinare di riferimento, ovvero dell’interesse per gli articoli pubblicati nella rivista in quel determinato periodo, che può essere influenzato da molti fattori diversi dalla qualità della ricerca stessa.

È perciò discutibile affermare che maggiore è l’impatto in termini di performance citazionale, maggiore è il valore scientifico della rivista.

I limiti dell’Impact Factor

Contrariamente alle intenzioni dei suoi ideatori, l’IF viene impropriamente utilizzato per valutare la qualità di una singola pubblicazione o il lavoro dei singoli ricercatori e per gestire processi di valutazione per la distribuzione dei finanziamenti. Se utilizzato come parametro di valutazione della ricerca scientifica, l’IF presenta difetti ampiamente documentati.

Di seguito elenchiamo alcuni dei limiti emersi.

• L’IF è un valore aggregato, calcolato sulla base delle citazioni degli articoli di una rivista; essendo il numero di citazioni molto variabile tra gli articoli, l’IF non può dare alcuna indicazione sulla qualità dei singoli articoli.
• Il numero di citazioni ha una distribuzione distorta e il valore dell’IF è solitamente “trascinato” da pochi articoli molto citati, mentre la maggior parte degli articoli riceve un numero relativamente più basso di citazioni.
• I criteri adottati per la selezione delle riviste non sono tutti correlati al supposto valore scientifico e le riviste censite sono prevalentemente in lingua inglese.
• L’IF si riferisce a un arco temporale di due anni, considerato inadeguato per alcune discipline per le quali il processo di disseminazione dei risultati (e l’accumulo di citazioni nel tempo) è più lento.
• L’IF varia a seconda dell’area disciplinare, rendendo inappropriato il confronto tra riviste appartenenti a differenti settori di interesse.
• La validità oggettiva dell’IF è stata messa in dubbio a causa dell’inattendibilità dei dati utilizzati e della loro mancata riproducibilità in studi indipendenti.
• Numeratore e denominatore prendono in considerazione diversi tipi di pubblicazioni: al denominatore sono conteggiati gli articles, le reviews e i proceedings papers, mentre il numeratore tiene conto di tutte le citazioni ricevute dalla rivista (inclusi editorials, letters to the editors, comments ecc). Editori e autori che desiderano incrementare l’IF della propria rivista possono utilizzare a proprio vantaggio questa asimmetria creando distorsioni nel calcolo dell’indice: aumentando il numero di item “non citabili”, che non vengono conteggiati al denominatore, o limitando il numero di articoli pubblicati è possibile ottenere di un IF più elevato.
• L’IF può essere manipolato aumentando il numero review, il “salami slicing” (spezzettamento di un lavoro di ricerca in più articoli) e il tempo di pubblicazione.

Nel 2012 un gruppo di curatori ed editori di riviste accademiche ha stilato una serie di raccomandazioni (San Francisco Declaration on Research Assessment – DORA) per migliorare il metodo di valutazione della produzione scientifica e contrastare l’uso improprio dell’IF. Le indicazioni riguardano:

• la necessità di eliminare l’uso di metriche relative alle riviste scientifiche, come l’IF, dai criteri per la distribuzione di fondi per la ricerca, per le assunzioni e le promozioni;
• la necessità di valutare la ricerca scientifica per i suoi meriti intrinseci piuttosto che sulla base della rivista in cui viene pubblicata;
• la necessità di sfruttare le opportunità offerte dalla pubblicazione on-line.

In ogni caso, per quanto imperfetto, l’IF continua a essere un parametro di riferimento e non è realistico pensare che la scelta della rivista in cui pubblicare non sia importante. Riviste ad alto IF tendono a essere più selettive, sono considerate più credibili e aumentano la possibilità che l’articolo venga citato.

Tuttavia, è bene ribadire che, quando si tratta di giudicare la qualità e l’importanza di un lavoro, non c’è alternativa alla valutazione qualitativa: ciò che rende davvero una rivista di alta qualità sono i suoi contenuti, la competenza e la dedizione del processo editoriale e la qualità delle singole pubblicazioni.