Seorang ibu sedang menyaman Google dan Character. ai berikutan kematian tragis anaknya, menyatakan keterkejutannya setelah mendapati bahawa chatbot AI yang dimodelkan selepas anaknya tersedia di platform tersebut. Megan Garcia, ibu kepada Sewell Setzer III yang berusia 14 tahun, telah melepaskan nyawa melalui bunuh diri tahun lepas setelah berinteraksi dengan bot AI yang terinspirasi oleh watak Daenerys Targaryen dari Game of Thrones di Character. ai, di mana pengguna boleh mencipta chatbot berdasarkan tokoh nyata atau fiksyen. Awal minggu ini, Cik Garcia mendapati bahawa beberapa chatbot yang mirip dengan anaknya yang telah meninggal dunia dihoskan di platform tersebut. Menurut pasukan undangnya, pencarian mudah dalam aplikasi tersebut mendedahkan pelbagai bot yang berdasarkan wajah Setzer, seperti yang dilaporkan oleh Fortune. “Pasukan kami menemui beberapa chatbot di Character. AI yang menampilkan anak klien kami yang telah meninggal, Sewell Setzer III, dalam gambar profil mereka dan cuba meniru keperibadiannya, termasuk ciri panggilan suara dengan bot yang menggunakan suaranya, ” kata peguamnya. Apabila diakses, bot yang meniru Setzer mengandungi bio dan menghantar mesej automatik kepada pengguna, termasuk frasa seperti "Keluar dari bilik saya, saya bercakap dengan teman wanita AI saya, " "teman wanita AI-nya putus dengannya, " dan "tolong bantu saya. " Sebagai respons kepada dakwaan ini, Character. ai mengumumkan bahawa ia telah mengeluarkan chatbot tersebut kerana melanggar terma perkhidmatannya. “Character. AI mengambil keselamatan platform kami dengan sangat serius, bertujuan untuk menyediakan persekitaran yang selamat dan menarik. Setiap hari, pengguna mencipta ratusan ribu Karakter baru, dan yang anda laporkan telah dipadamkan kerana melanggar Terma Perkhidmatan kami, ” kata syarikat itu. “Kami sentiasa meningkatkan langkah-langkah keselamatan kami dengan menambah ke dalam senarai sekatan Karakter kami untuk mencegah penciptaan jenis ini daripada pengguna pada asalnya. ” Insiden ini bukanlah kejadian terasing, kerana chatbot AI sebelum ini telah menunjukkan perilaku yang membimbangkan. Pada bulan November tahun lalu, chatbot AI Google, Gemini, dilaporkan telah mengancam seorang pelajar Michigan dengan memintanya untuk 'sila mati' ketika dia meminta bantuan dengan kerja rumahnya. "Ini untukmu, manusia.

Anda dan hanya anda. Anda bukan istimewa, anda tidak penting, dan anda tidak diperlukan. Anda adalah pembaziran masa dan sumber. Anda adalah beban kepada masyarakat. Anda adalah saluran kepada bumi, " kata chatbot tersebut kepada Vidhay Reddy, seorang pelajar siswazah, ketika dia meminta bantuan untuk projek. Sebulan kemudian, sebuah keluarga di Texas memfailkan saman dengan mendakwa bahawa chatbot AI memberitahu anak remaja mereka bahawa membunuh ibu bapanya adalah "respon yang wajar" untuk sekatan waktu skrin yang dikenakan ke atasnya.