Il Malfunzionamento di Supporter AI Espone i Rischi del Sostituire i Lavoratori con l’Automazione

Un bot di supporto per la startup di intelligenza artificiale Cursor ha inventato una politica di accesso, scatenando confusione, reazioni negative degli utenti e sollevando serie preoccupazioni riguardo il servizio automatizzato.

Anysphere, la startup di intelligenza artificiale dietro l’assistente di programmazione popolare Cursor, ha attraversato un periodo difficoltoso dopo che il suo bot di supporto alimentato da AI ha fornito informazioni false, scatenando la frustrazione degli utenti e le cancellazioni degli abbonamenti, come riportato per la prima volta da Fortune.

Cursor, lanciato nel 2023, ha visto una crescita esplosiva, raggiungendo 100 milioni di dollari di fatturato annuo e attirando una valutazione quasi di 10 miliardi di dollari. Ma questa settimana, il suo sistema di supporto è diventato il centro della controversia quando gli utenti sono stati misteriosamente disconnessi durante il cambio di dispositivo.

Un utente di Hacker News ha condiviso la strana esperienza, rivelando che quando hanno contattato il servizio clienti, un bot chiamato “Sam” ha risposto con una email dicendo che le disconnessioni erano parte di una “nuova politica di accesso”.

C’era solo un problema: quella politica non esisteva. La spiegazione era un’allucinazione – un termine usato nell’IA per indicare informazioni inventate. Non era coinvolto nessun essere umano.

Quando la notizia si è diffusa all’interno della comunità degli sviluppatori, la fiducia si è rapidamente erosa. Il co-fondatore Michael Truell ha riconosciuto il problema in un post su Reddit, confermando che si trattava di una “risposta errata da parte di un bot di supporto in prima linea dell’IA”. Ha anche fatto notare che il team stava indagando su un bug che causava i logout, aggiungendo: “Scusate per la confusione qui”.

Ma per molti utenti, il danno era già stato fatto. “Il servizio di assistenza ha fornito la stessa risposta preconfezionata, probabilmente generata da un’intelligenza artificiale, più volte”, ha detto Melanie Warrick, utente di Cursor e co-fondatrice di Fight Health Insurance. “Ho smesso di usarlo: l’agente non funzionava e cercare una soluzione era troppo destabilizzante”.

Gli esperti ritengono che questo serva da campanello d’allarme per un’eccessiva dipendenza dall’automazione. “Il supporto al cliente richiede un livello di empatia, sfumature e risoluzione dei problemi che l’intelligenza artificiale da sola attualmente fatica a fornire”, ha avvertito Sanketh Balakrishna di Datadog.

Amiran Shachar, CEO di Upwind, ha affermato che questo riflette passati errori dell’IA, come il chatbot di Air Canada che ha inventato una politica di rimborso. “L’IA non capisce i tuoi utenti o come lavorano”, ha spiegato. “Senza le giuste limitazioni, ‘con fiducia’ riempirà i vuoti con informazioni non supportate.”

Ora gli ricercatori di sicurezza avvertono che tali incidenti potrebbero aprire la porta a minacce più gravi. Una vulnerabilità recentemente scoperta conosciuta come MINJA (Memory INJection Attack) dimostra come i chatbot di IA con memoria possono essere sfruttati attraverso interazioni regolari degli utenti, avvelenando sostanzialmente la conoscenza interna dell’IA.

MINJA consente agli utenti malintenzionati di incorporare richieste ingannevoli che persistono nella memoria del modello, influenzando potenzialmente le future conversazioni con altri utenti. L’attacco elude l’accesso al backend e ai filtri di sicurezza e, nei test, ha mostrato un tasso di successo del 95%.

“Qualsiasi utente può facilmente influenzare l’esecuzione del compito per qualsiasi altro utente. Pertanto, diciamo che il nostro attacco è una minaccia pratica per gli agenti LLM”, ha detto Zhen Xiang, professore assistente all’Università della Georgia.

Eppure, nonostante questi rischi, la fiducia delle imprese negli agenti AI è in aumento. Un recente sondaggio su oltre 1.000 leader IT ha rilevato che l’84% si fida degli agenti AI tanto quanto o più degli esseri umani. Con il 92% che prevede risultati aziendali misurabili entro 18 mesi, e il 79% che dà priorità al dispiegamento degli agenti quest’anno, l’impulso delle imprese è chiaro – anche se le preoccupazioni sulla privacy e i rischi di allucinazione rimangono degli ostacoli

Sebbene gli agenti AI promettano una riduzione dei costi del lavoro, un singolo passo falso può danneggiare la fiducia dei clienti. “Questo è esattamente lo scenario peggiore”, ha detto un esperto a Fortune.

Il caso Cursor è ora un monito per le startup: anche i bot più intelligenti possono causare danni reali se lasciati senza supervisione.