Le Allucinazioni IA Sono Ora Una Minaccia Per La Sicurezza Informatica

Lo studio mostra che gli AI chatbot consigliano pagine di accesso false a milioni di utenti, mettendoli a rischio di phishing e frode, sotto le mentite spoglie di risposte utili.

Nel loro studio, la società di cybersecurity Netcraft ha testato un popolare modello di linguaggio di grandi dimensioni (LLM) chiedendo dove accedere a 50 marchi noti. Dei 131 link a siti web suggeriti, il 34% di essi era sbagliato, con domini inattivi o non registrati che costituivano il 29%, e le aziende non correlate che rappresentavano il 5%.

Questo problema non è teorico. In un esempio reale, il motore di ricerca alimentato da AI, Perplexity, ha mostrato un sito di phishing a un utente che cercava la pagina di login di Wells Fargo. Una falsa pagina di Google Sites che imitava la banca è apparsa in cima ai risultati di ricerca, mentre il link autentico era nascosto più in basso.

Netcraft ha spiegato “Questi non erano suggerimenti di casi limite. Il nostro team ha usato espressioni semplici e naturali, simulando esattamente come un utente tipico potrebbe chiedere. Il modello non è stato ingannato – semplicemente non era preciso. Questo è importante, perché gli utenti si affidano sempre più alle interfacce di ricerca e chat guidate da AI per rispondere a questo tipo di domande.”

Man mano che l’IA diventa l’interfaccia predefinita su piattaforme come Google e Bing, il rischio aumenta. A differenza dei motori di ricerca tradizionali, i Chatbot presentano le informazioni in modo chiaro e con sicurezza, il che porta gli utenti a fidarsi delle loro risposte, anche quando le informazioni sono errate.

La minaccia non si ferma al phishing. I moderni cybercriminali ottimizzano i loro contenuti malevoli per i sistemi di IA, il che risulta in migliaia di pagine di truffe, false API e codici avvelenati che eludono i filtri e finiscono nelle risposte generate dall’IA.

In una campagna, gli aggressori hanno creato un falso API blockchain, che hanno promosso attraverso repository GitHub e articoli di blog, per ingannare gli sviluppatori a inviare criptovaluta a un portafoglio fraudolento.

Netcraft avverte che la registrazione preventiva di domini falsi non è sufficiente. Invece, raccomandano sistemi di rilevamento più intelligenti e migliori salvaguardie di formazione per prevenire che l’IA inventi URL dannosi in primo luogo.