Image by National Cancer Institute, from Unsplash
Il Nuovo IA Rileva Riviste Scientifiche Discutibili
Gli scienziati hanno sviluppato un sistema di rilevamento AI per riviste ad accesso aperto con pratiche discutibili, rivelando minacce all’integrità in campo scientifico e la necessità di una valutazione umana
Hai fretta? Ecco i fatti essenziali:
- IA addestrata su 12.000 riviste di alta qualità e 2.500 di bassa qualità.
- L’IA ha segnalato oltre 1.000 riviste sospette precedentemente sconosciute.
- L’attuale tasso di falsi positivi dell’IA è del 24%, richiedendo un controllo umano.
Le riviste open-access consentono un accesso gratuito alla ricerca per gli scienziati di tutto il mondo, aumentando la loro esposizione globale. Tuttavia, il modello open-access ha creato un ambiente in cui proliferano ora riviste discutibili. Queste pubblicazioni spesso addebitano agli autori delle tariffe, promettono una pubblicazione rapida, ma mancano di un adeguato processo di revisione paritaria, mettendo a rischio l’integrità scientifica.
Ricercatori hanno recentemente pubblicato i loro risultati sull’esperimento di un nuovo strumento di intelligenza artificiale che mira a risolvere questo problema. Hanno addestrato l’IA utilizzando più di 12.000 riviste di alta qualità, insieme a 2.500 pubblicazioni di bassa qualità o discutibili rimosse dalla Directory of Open Access Journals (DOAJ).
L’IA ha imparato a identificare i segnali d’allarme analizzando le lacune del comitato editoriale, il design del sito web poco professionale e l’attività di citazione minima.
Ha identificato oltre 1.000 riviste sospette precedentemente sconosciute da un insieme di dati di 93.804 riviste ad accesso aperto su Unpaywall, che insieme pubblicano centinaia di migliaia di articoli. Molte delle riviste discutibili provengono da paesi in via di sviluppo.
“I nostri risultati dimostrano il potenziale dell’IA per controlli di integrità scalabili, evidenziando allo stesso tempo la necessità di abbinare la triage automatica con la revisione da parte di esperti”, scrivono i ricercatori.
Gli studiosi sottolineano che il sistema non è perfetto. Attualmente produce il 24% di falsi positivi, il che significa che uno su quattro giornali autentici potrebbe essere segnalato erroneamente. Si richiedono ancora esperti umani per la valutazione finale.
Il sistema di intelligenza artificiale valuta la credibilità delle riviste analizzando il contenuto del sito web, gli elementi di design e i dati bibliometrici, compresi i modelli di citazione e le affiliazioni degli autori. Gli indicatori di riviste discutibili includono alti tassi di auto-citazione e valori dell’indice h degli autori più bassi, mentre la diversità istituzionale consolidata e le ampie reti di citazioni indicano affidabilità.
Il team di ricerca si aspetta che i futuri sviluppi miglioreranno la capacità del sistema di intelligenza artificiale di rilevare le strategie ingannevoli degli editori. Combinando strumenti automatizzati con il controllo umano, la comunità scientifica può proteggere meglio l’integrità della ricerca e guidare gli autori verso riviste affidabili.