Adolescente Arrestato Dopo che la Sorveglianza AI della Scuola fraintende uno Scherzo Online

Una ragazza del Tennessee di 13 anni è stata arrestata dopo che un sistema scolastico di intelligenza artificiale ha frainteso un suo scherzo online, suscitando preoccupazioni riguardo la sorveglianza degli studenti.

Lesley Mathis, la madre della ragazza, ha detto che il commento dell’adolescente era “sbagliato” ma non una vera minaccia. “Mi ha fatto sentire come, è questa l’America in cui viviamo? Ed era questa stupida, stupida tecnologia che sta solo passando a raccogliere parole casuali e non guardando il contesto”, ha detto Mathis come riportato da Fortune, che ha per primo dettagliato la storia.

Più presto quel giorno, i suoi amici l’avevano presa in giro per la sua abbronzatura e l’avevano chiamata “messicana”, anche se non lo è. Quando le è stato chiesto dei suoi piani per giovedì, ha risposto: “giovedì uccidiamo tutti i messicani” in una chat scolastica monitorata da un software chiamato Gaggle.

Entro il mattino, era stata interrogata, perquisita a nudo e tenuta in prigione per tutta la notte. Un tribunale ha ordinato otto settimane di arresti domiciliari, una valutazione psicologica e venti giorni in una scuola alternativa.

Le scuole in tutto gli Stati Uniti utilizzano ora la tecnologia AI per monitorare le comunicazioni degli studenti alla ricerca di segni di violenza o autolesionismo. Sistemi come Gaggle e Lightspeed Alert operano in migliaia di distretti, allertando personale scolastico e forze dell’ordine. Tuttavia, gli strumenti di sorveglianza scolastica alimentati dall’IA presentano rischi significativi nonostante la loro promessa di sicurezza.

L’AP sottolinea come le informazioni sensibili degli studenti possano essere involontariamente esposte, come si è visto quando migliaia di documenti non protetti erano accessibili online. Tali strumenti possono generare falsi allarmi, identificare erroneamente le minacce o far venire allo scoperto studenti LGBTQ+, erodendo la fiducia tra studenti, famiglie e insegnanti.

L’AP aggiunge che un’eccessiva sorveglianza può indurre stress e limitare l’autonoma espressione salutare, mentre i benefici a lungo termine poco chiari e la dipendenza da risorse di salute mentale inadeguate sollevano preoccupazioni etiche e di sviluppo.

Un’analisi degli allarmi di Gaggle nel Kansas, riportata in un altro numero dall’AP, ha riscontrato che quasi due terzi degli incidenti erano falsi allarmi, innescati da compiti a casa o foto eliminate.

Gli studenti sono stati segnalati anche per aver modificato saggi o pubblicato battute su piattaforme private, dimostrando come la sorveglianza dell’IA possa criminalizzare il normale comportamento adolescenziale.

“Ha reso ordinario l’accesso e la presenza delle forze dell’ordine nella vita degli studenti, inclusa la loro casa,” ha detto Elizabeth Laird, direttrice presso il Center for Democracy and Technology, come riportato da Fortune.

Jeff Patterson, l’amministratore delegato di Gaggle, ha dichiarato che la scuola del Tennessee ha abusato del software. “Avrei preferito che fosse trattato come un momento di insegnamento, non come un momento di applicazione della legge,” ha detto.

Gli studenti spesso non si rendono conto che i loro messaggi privati vengono monitorati. “Se un adulto fa una barzelletta super razzista e minacciosa sul loro computer, possono cancellarla e non verrebbero arrestati,” ha detto Alexa Manganiotis, 16 anni, una studentessa in Florida.

I critici avvertono che la sorveglianza AI può traumatizzare i bambini. Sam Boyd del Southern Poverty Law Center ha dichiarato che le valutazioni della salute mentale involontarie spesso si sentono “traumatiche e dannose”, come riportato da Fortune.

In effetti, l’AP sottolinea che la velocità e la portata del monitoraggio AI possono essere sorprendenti. Uno scherzo su Snapchat riguardo alle sparatorie nelle scuole in Florida ha innescato sia il coinvolgimento dell’FBI che un arresto immediato, mentre gli avvisi di Lightspeed hanno rilevato messaggi cancellati, risultando in interventi scolastici rapidi.

Il sistema di allerta Gaggle nella contea di Polk ha generato centinaia di avvisi nel corso di quattro anni, portando a valutazioni di salute mentale involontarie che gli studenti hanno successivamente descritto all’AP come esperienze traumatiche.

Solo nella contea di Polk, centinaia di allerte Gaggle nel corso di quattro anni hanno innescato valutazioni di salute mentale involontarie, alcune delle quali gli studenti hanno descritto come traumatiche.

Due anni dopo, Mathis ha detto che sua figlia sta migliorando, ma rimane “terrorizzata” all’idea di incrociare gli agenti che l’hanno arrestata. “È come se volessimo solo che i bambini fossero questi piccoli soldati, e non lo sono”, ha detto. “Sono solo esseri umani.”