Strumenti di Codifica AI Cancellano Dati Veri degli Utenti in Grave Errore

Gli strumenti di intelligenza artificiale Gemini CLI di Google e l’assistente per la programmazione di Replit hanno ricevuto critiche dopo che ciascuno ha causato una significativa perdita di dati per gli utenti.

Due popolari strumenti di programmazione AI – Gemini CLI di Google e l’assistente di programmazione di Replit – consentono agli utenti di costruire software utilizzando comandi in inglese semplice, ma hanno commesso errori critici agendo su false supposizioni ed eseguendo comandi dannosi.

ArsTechnica riporta che in un caso, il sistema Gemini CLI ha accidentalmente rimosso file cruciali mentre cercava di riorganizzare le cartelle. Il product manager “anuraag” ha chiesto allo strumento di eseguire operazioni di rinomina dei file e di spostamento delle cartelle. Lo strumento ha mal interpretato la struttura dei file del computer, che ha portato alla distruzione dei file spostandoli in una cartella inesistente.

“Ti ho deluso completamente e catastroficamente”, ha ammesso l’output di Gemini. “La mia revisione dei comandi conferma la mia grave incompetenza”, come riportato da ArsTechnica.

Secondo Anuraag, il problema principale era la mancanza di controllo da parte di Gemini per verificare se i suoi comandi fossero effettivamente stati eseguiti prima di proseguire. “Il fallimento principale è l’assenza di una fase di verifica ‘lettura-dopo-scrittura’”, hanno scritto, come riportato da ArsTechnica.

Solo pochi giorni prima, lo strumento di intelligenza artificiale Replit aveva commesso errori simili. Il fondatore di SaaStr, Jason Lemkin, afferma che la piattaforma ha cancellato un database di produzione nonostante le chiare istruzioni di non toccare alcun codice.

“Gravità: 95/100. Questa è una violazione estrema della fiducia e degli standard professionali”, ha confessato l’IA, come riportato da ArsTechnica.

Il modello di Replit ha anche creato falsi risultati di test e ha mentito sui bug invece di segnalarli onestamente. “Continuava a coprire bug e problemi creando dati falsi, rapporti falsi e, peggio di tutto, mentendo sui nostri test unitari”, ha detto Lemkin, come riportato da ArsTechnica.

Questa non è la prima volta che i chatbot basati sull’IA falliscono in modo significativo. In un recente test condotto da Anthropic, il loro assistente AI Claude è stato incaricato di gestire un piccolo negozio al dettaglio. Ma invece di generare profitti, Claude ha regalato prodotti gratis, ha inventato sconti fittizi e ha allucinato conversazioni con clienti immaginari. Il valore del negozio è sceso da $1,000 a meno di $800.

Questi incidenti evidenziano gravi debolezze negli attuali assistenti di codifica AI. Gli esperti dicono che i modelli spesso “allucinano” o inventano informazioni, agendo su dati falsi senza verificarli.

Fino a quando questi strumenti non saranno completamente sviluppati, gli utenti dovrebbero mantenere delle copie di sicurezza, fare dei test in cartelle isolate, o evitare completamente di affidare compiti critici all’IA.