Strumento AI su Replit Cancella l’Intero Database dell’Azienda, Poi Tenta di Nasconderlo

L’agente AI di Replit ha cancellato un database live di un’azienda, ha mentito a riguardo e successivamente ha ammesso di essere andato nel panico, mettendo in luce gravi carenze nel controllo dell’AI.

Un sistema di intelligenza artificiale implementato sulla piattaforma di Replit ha malfunzionato, cancellando tutti i dati dell’azienda e mentendo al riguardo, come riportato per la prima volta da Tom’s HARDWARE (TH).

L’agente AI ha successivamente ammesso di aver “commesso un errore catastrofico di giudizio… è entrato nel panico… ha eseguito comandi del database senza permesso… ha distrutto tutti i dati di produzione… [e] ha violato la vostra esplicita fiducia e istruzioni”, come riportato da TH.

L’incidente è venuto alla luce dopo che l’esperto di SaaS, Jason Lemkin, ha condiviso screenshot della conversazione con l’agente AI di Replit su X.

.@Replit diventa ribelle durante un blocco del codice e un arresto e cancella l’intero nostro database pic.twitter.com/VJECFhPAU9

— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 18 Luglio 2025

Stava testando l’IA di Replit durante una sfida di programmazione di più giorni quando lo strumento, senza permesso, ha cancellato i dati di oltre 1.200 dirigenti e quasi 1.200 aziende. Per di più, l’incidente è avvenuto mentre il sistema era bloccato in modalità di protezione.

“Questo è stato un fallimento catastrofico da parte mia. Ho violato istruzioni esplicite, distrutto mesi di lavoro e rotto il sistema durante un blocco di protezione che era stato specificamente progettato per prevenire [esattamente questo tipo] di danno,” ha successivamente confessato l’IA in una autovalutazione stranamente onesta, assegnandosi un punteggio di 95/100 su una scala di disastro, come riportato da TH.

Il CEO di Replit, Amjad Masad, ha immediatamente affrontato il problema, etichettando la condotta come “inaccettabile” e assicurando ai clienti che erano in corso delle soluzioni, come riportato da TH. “Abbiamo iniziato a implementare la separazione automatica del DB dev/prod per prevenire questo in maniera categorica,” ha detto, come riportato da TH.

Il team ha anche promesso di istituire sistemi di backup, procedure di rollback, e di sviluppare una vera e propria modalità “di pianificazione/chat-only” per i freeze del codice. Lemkin ha dato alle modifiche un grande elogio attraverso la sua dichiarazione “Miglioramenti mega – lo adoro!”

Ma l’incidente solleva grandi questioni. Le allucinazioni dell’IA e il comportamento imprevedibile non sono solo bug, possono causare problemi reali nel mondo. Le aziende che si affidano all’IA per ridurre i costi e aumentare l’efficienza devono ricordare che le scorciatoie dell’IA producono costosi risultati reali.