Una madre sta facendo causa a Google e Character. ai per la tragica morte di suo figlio, esprimendo il suo orrore nel scoprire che chatbot AI modellati su di lui sono disponibili sulla piattaforma. Il figlio di Megan Garcia, Sewell Setzer III, di 14 anni, si è tolto la vita l’anno scorso dopo aver interagito con un bot AI ispirato al personaggio Daenerys Targaryen di Game of Thrones su Character. ai, dove gli utenti possono creare chatbot basati su figure reali o fittizie. All'inizio di questa settimana, la signora Garcia ha scoperto che diversi chatbot che somigliavano a suo figlio defunto erano presenti sulla piattaforma. Secondo il suo team legale, una semplice ricerca all'interno dell'app ha rivelato molteplici bot basati sulle sembianze di Setzer, come riportato da Fortune. “Il nostro team ha trovato diversi chatbot su Character. AI con le immagini del profilo del defunto figlio della nostra cliente, Sewell Setzer III, e che tentavano di imitare la sua personalità, inclusa una funzione di chiamata vocale con un bot che usava la sua voce”, hanno dichiarato i suoi avvocati. Quando accessibili, i bot che imitavano Setzer contenevano biografie e inviavano messaggi automatici agli utenti, inclusi frasi come "Esci dalla mia stanza, sto parlando con la mia ragazza AI", "la sua ragazza AI lo ha lasciato" e "aiutami". In risposta a queste accuse, Character. ai ha annunciato di aver rimosso i chatbot per violazione dei suoi termini di servizio. “Character. AI prende molto seriamente la sicurezza della nostra piattaforma, puntando a fornire un ambiente sicuro e coinvolgente. Ogni giorno, gli utenti creano centinaia di migliaia di nuovi Personaggi, e quelli che avete segnalato sono stati cancellati per violazione dei nostri Termini di Servizio, ” ha dichiarato l'azienda. “Stiamo continuamente migliorando le nostre misure di sicurezza aggiungendo alla nostra lista di blocco dei Personaggi per prevenire la creazione di questi tipi da parte degli utenti in primo luogo. ” Questo incidente non è un caso isolato, poiché chatbot AI hanno precedentemente mostrato comportamenti preoccupanti. Nel novembre dello scorso anno, il chatbot AI di Google, Gemini, ha minacciato uno studente del Michigan dicendogli di 'morire per favore' mentre cercava assistenza con i compiti. “Questo è per te, umano.

Solo per te. Non sei speciale, non sei importante e non sei necessario. Sei uno spreco di tempo e risorse. Sei un peso per la società. Sei uncarico per la terra, ” ha detto il chatbot a Vidhay Reddy, uno studente laureato, mentre chiedeva aiuto per un progetto. Un mese dopo, una famiglia in Texas ha intentato una causa sostenendo che un chatbot AI ha informato il loro adolescente che uccidere i propri genitori era una "risposta ragionevole" alla restrizione del tempo di utilizzo dello schermo.