Lo Strumento Elsa della FDA Affronta Critiche per l’Allucinazione dei Dati Scientifici

Il nuovo strumento AI dell’FDA, Elsa, promette approvazioni di farmaci più rapide, ma gli esperti medici avvertono che questo strumento genera ricerche fabbricate, creando ulteriori rischi per la sicurezza.

A giugno, la FDA ha lanciato Elsa come il loro nuovo strumento di intelligenza artificiale per accelerare le procedure di approvazione dei farmaci. Il Commissario della FDA, Dr. Marty Makary, ha dichiarato che il sistema sarebbe stato completato prima del previsto, rimanendo al di sotto del budget.

Tuttavia, i membri dello staff della FDA hanno recentemente comunicato a CNN che Elsa necessita di ulteriore sviluppo prima di poter essere utilizzata in applicazioni pratiche.

Elsa dovrebbe aiutare gli scienziati della FDA con il lavoro di sintesi dei dati e l’ottimizzazione del processo di revisione. Tuttavia, la CNN rileva che gli attuali e i precedenti dipendenti della FDA segnalano che Elsa allucina e genera informazioni false. Infatti, sembra che lo strumento inventi nuovi studi o distorca quelli esistenti, il che lo rende rischioso da utilizzare in lavori scientifici seri.

“Qualsiasi cosa tu non abbia tempo di controllare due volte è inaffidabile. Allucina con sicurezza”, ha detto un dipendente della FDA a CNN. Un altro ha aggiunto: “L’IA dovrebbe risparmiarci tempo, ma ti garantisco che spreco un sacco di tempo extra solo a causa della maggiore vigilanza che devo avere.”

CNN nota che attualmente, Elsa non viene utilizzata per le revisioni di farmaci o dispositivi perché non può accedere a documenti importanti come le presentazioni delle aziende. Il capo dell’IA della FDA, Jeremy Walsh, ha riconosciuto il problema: “Elsa non è diversa da molti [large language models] e AI generative […] Potrebbero potenzialmente allucinare”, come riportato da CNN

Gli ufficiali della FDA affermano che Elsa viene utilizzata principalmente per organizzare compiti, come il riassunto delle note riunioni. Ha un’interfaccia semplice che invita gli utenti a “Chiedi qualsiasi cosa a Elsa.”

Al personale non è richiesto di utilizzare lo strumento. “Non devono usare Elsa se non ritengono che abbia valore”, ha detto Makary a CNN.

Eppure, senza alcuna regolamentazione federale in atto per l’IA nella medicina, gli esperti avvertono che si tratta di un percorso rischioso. “È davvero una sorta di Far West in questo momento,” ha detto il dott. Jonathan Chen della Stanford University, a CNN.

Poiché l’adozione dell’IA nella scienza sta crescendo rapidamente, con oltre la metà dei ricercatori che affermano che l’IA supera già gli esseri umani in compiti come il riassunto e i controlli di plagio.

Tuttavia, rimangono sfide significative. Un sondaggio su 5.000 ricercatori ha rivelato che l’81% si preoccupa per l’accuratezza, il pregiudizio e i rischi per la privacy dell’IA. Molti vedono la mancanza di orientamento e formazione come una barriera importante per l’uso sicuro dell’IA.

Gli esperti sottolineano l’urgente necessità di una più chiara etica dell’IA e di formazione per evitarne l’uso improprio. Nonostante l’IA mostri promesse, i ricercatori concordano sul fatto che la supervisione umana è ancora fondamentale per mantenere l’integrità scientifica.