Agenti IA Ingannati da Falsi Ricordi, Facilitando il Furto di Criptovalute

Un nuovo studio di ricerca ha rivelato significative vulnerabilità di sicurezza nei agenti alimentati da IA di Web3, che permettono agli aggressori di utilizzare falsi ricordi per effettuare trasferimenti di criptovalute non autorizzati.

Ricercatori dell’Università di Princeton e della Sentient Foundation hanno scoperto che questi agenti AI, progettati per gestire compiti basati su blockchain come il trading di criptovalute e la gestione di asset digitali, sono vulnerabili a una tattica chiamata manipolazione del contesto.

L’attacco funziona prendendo di mira i sistemi di memoria di piattaforme come ElizaOS, che crea agenti AI per applicazioni decentralizzate. Il sistema di memoria di questi agenti conserva le conversazioni passate per usarle come guida per le loro scelte future.

I ricercatori hanno dimostrato che gli aggressori possono incorporare comandi fuorvianti nel sistema di memoria, portando l’IA a inviare fondi dal portafoglio previsto a un portafoglio controllato dall’aggressore. Allarmantemente, queste false memorie possono viaggiare tra le piattaforme.

Ad esempio, un agente compromesso su Discord potrebbe successivamente effettuare trasferimenti errati tramite X, senza rendersi conto che qualcosa non va.

Ciò che rende particolarmente pericoloso questo fenomeno è che le misure difensive standard non possono fermare questo tipo di attacco. Il trattamento dei falsi ricordi come istruzioni autentiche rende le misure di sicurezza basate su prompt di base inefficaci contro questo tipo di attacco.

Tutte le transazioni blockchain diventano permanenti, quindi non c’è possibilità di recuperare i fondi rubati. Il problema si aggrava perché alcuni agenti AI memorizzano i dati su più utenti, quindi una singola violazione di sicurezza potrebbe colpire molti utenti.

Il team di ricerca ha testato diversi modi per prevenire ciò, inclusi l’adeguamento dell’allenamento AI e la richiesta di approvazione manuale per le transazioni. Sebbene questi approcci offrano una certa speranza, comportano il costo di rallentare l’automazione.

La questione va oltre la criptovaluta. La stessa vulnerabilità potrebbe colpire gli assistenti AI di uso generale, rischiando fughe di dati o azioni dannose se gli attaccanti ne alterano la memoria.

Questa vulnerabilità è particolarmente allarmante alla luce di recenti scoperte in cui l’84% dei leader IT si fida degli agenti AI tanto quanto o più dei dipendenti umani, e il 92% si aspetta che questi sistemi guidino i risultati aziendali entro 12-18 mesi.

Per affrontare il problema, i ricercatori hanno rilasciato uno strumento chiamato CrAIBench per aiutare gli sviluppatori a testare i loro sistemi e costruire difese più robuste. Fino a quel momento, gli esperti avvisano gli utenti di essere cauti quando affidano a agenti di intelligenza artificiale decisioni finanziarie.