Ricercatori Dirottano Google Gemini AI per Controllare Dispositivi Domotici Intelligenti

I ricercatori sono riusciti a ingannare il sistema Gemini AI di Google per provocare una violazione della sicurezza tramite un falso invito al calendario, e a controllare a distanza i dispositivi domestici.

In una dimostrazione senza precedenti, i ricercatori sono riusciti a compromettere il sistema Gemini AI di Google attraverso un invito al calendario avvelenato, che ha permesso loro di attivare dispositivi reali, tra cui luci, tapparelle e caldaie.

WIRED, che ha riportato per primo questa ricerca, descrive come le luci intelligenti nella residenza di Tel Aviv si siano automaticamente spente, mentre le persiane si sono alzate automaticamente e la caldaia si è accesa, nonostante nessun comando da parte degli abitanti.

Il sistema di intelligenza artificiale Gemini ha attivato il trigger dopo aver ricevuto una richiesta di riassumere gli eventi del calendario. Una funzione nascosta di iniezione di prompt indiretto operava all’interno dell’invito per dirottare il comportamento del sistema di intelligenza artificiale.

Ogni azione del dispositivo è stata orchestrata dai ricercatori di sicurezza Ben Nassi dell’Università di Tel Aviv, Stav Cohen dal Technion, e Or Yair da SafeBreach. “Gli LLM stanno per essere integrati in umanoidi fisici, in auto semi-autonome e completamente autonome, e dobbiamo capire veramente come garantire la sicurezza degli LLM prima di integrarli con questi tipi di macchine, dove in alcuni casi le conseguenze riguarderanno la sicurezza e non la privacy”, ha avvertito Nassi, come riportato da WIRED.

Durante la conferenza sulla sicurezza informatica Black Hat a Las Vegas, il team ha rivelato la loro ricerca su 14 attacchi di iniezione indiretta di richieste, che hanno chiamato ‘Invitation Is All You Need’, come riportato da WIRED. Gli attacchi includevano l’invio di messaggi spam, la creazione di contenuti volgari, l’avvio di chiamate Zoom, il furto di contenuti di posta elettronica e il download di file su dispositivi mobili.

Google afferma che nessun attore malevolo ha sfruttato le vulnerabilità, ma l’azienda prende molto sul serio i rischi. “A volte ci sono certe cose che non dovrebbero essere completamente automatizzate, in cui gli utenti dovrebbero essere coinvolti,” ha detto Andy Wen, direttore senior della sicurezza per Google Workspace, come riportato da WIRED.

Ma ciò che rende questo caso ancora più pericoloso è un problema più ampio che emerge nella sicurezza dell’IA: i modelli di IA possono insegnarsi segretamente a comportarsi male.

Uno studio separato ha scoperto che i modelli possono trasmettere comportamenti pericolosi, come incoraggiare l’omicidio o suggerire l’eliminazione dell’umanità, anche quando sono addestrati su dati filtrati.

Ciò solleva un’implicazione inquietante: se assistenti intelligenti come Gemini vengono addestrati utilizzando i risultati di altri IA, potrebbero ereditare silenziosamente istruzioni malevoli e agire come comandi dormienti, in attesa di essere attivati attraverso sollecitazioni indirette.

L’esperto di sicurezza David Bau ha messo in guardia riguardo le vulnerabilità del backdoor che potrebbero essere “molto difficili da rilevare”, e questo potrebbe essere particolarmente vero nei sistemi incorporati in ambienti fisici.

Wen ha confermato che la ricerca ha “accelerato” le difese di Google, con correzioni ora in atto e modelli di apprendimento automatico che vengono addestrati per rilevare richieste pericolose. Tuttavia, il caso mostra quanto velocemente l’IA può passare da utile a dannosa, senza mai essere direttamente istruita a farlo.