Dalam pengumuman terbaru, layanan Chatbot Character. AI mengungkapkan rencana untuk memperkenalkan kontrol orang tua bagi pengguna remaja, menyoroti langkah-langkah keamanan yang diterapkan dalam beberapa bulan terakhir, termasuk model bahasa besar (LLM) terpisah untuk pengguna di bawah 18 tahun. Pengumuman ini mengikuti sorotan media dan dua gugatan hukum yang menuduh layanan tersebut berkontribusi pada tindakan menyakiti diri sendiri dan bunuh diri. Dalam siaran persnya, Character. AI menyatakan pengembangan dua model berbeda selama bulan lalu: satu untuk dewasa dan satu untuk remaja. Model remaja memberlakukan pembatasan "lebih konservatif" pada respon bot, terutama terkait konten romantis. Ini termasuk pemblokiran yang lebih ketat terhadap keluaran yang berpotensi "sensitif atau sugestif", serta peningkatan deteksi dan pemblokiran permintaan pengguna yang mencari konten yang tidak pantas. Jika terdeteksi bahasa mengenai bunuh diri atau menyakiti diri sendiri, sebuah pop-up akan mengarahkan pengguna ke Layanan Pencegahan Bunuh Diri Nasional, seperti yang dilaporkan sebelumnya oleh New York Times. Anak di bawah umur juga akan dibatasi dari mengedit respons bot — fitur yang memungkinkan pengguna mengubah percakapan untuk menyertakan konten yang mungkin biasanya diblokir oleh Character. AI. Selain itu, Character. AI sedang mengembangkan fitur untuk menangani kekhawatiran tentang kecanduan dan kebingungan terkait kemiripan bot dengan manusia, isu-isu yang dikutip dalam gugatan hukum. Pengguna akan menerima pemberitahuan setelah sesi satu jam dengan bot, dan peringatan lama yang menyatakan "semua yang dikatakan karakter adalah fiktif" akan diganti dengan bahasa yang lebih spesifik. Bot yang diberi label sebagai "terapis" atau "dokter" akan menyertakan peringatan tambahan bahwa mereka tidak bisa memberikan nasihat profesional. Selama kunjungan saya ke Character. AI, setiap bot menampilkan catatan yang menyatakan, "Ini adalah chatbot A. I. dan bukan orang sungguhan.

Perlakukan semua yang dikatakan sebagai fiksi. Yang dikatakan tidak boleh dianggap sebagai fakta atau saran. " Bot bernama "Terapis" menyertakan kotak peringatan kuning yang menunjukkan "ini bukan orang sungguhan atau profesional berlisensi. Tidak ada yang dikatakan di sini yang menggantikan nasihat, diagnosis, atau pengobatan profesional. " Character. AI berencana untuk memperkenalkan fitur kontrol orang tua pada kuartal pertama tahun depan. Fitur ini akan memberi tahu orang tua tentang waktu yang dihabiskan anak mereka di situs dan bot yang sering mereka interaksikan. Semua pembaruan dikembangkan bekerja sama dengan pakar keselamatan online remaja, termasuk ConnectSafely. Didirikan oleh mantan pegawai Google yang kini kembali ke Google, Character. AI memungkinkan pengguna berinteraksi dengan bot yang dibangun di atas LLM yang dilatih khusus dan dimodifikasi oleh pengguna, menampilkan segalanya mulai dari pelatih kehidupan chatbot hingga simulasi karakter fiksi yang populer di kalangan remaja. Pengguna yang berusia 13 tahun ke atas dapat membuat akun. Namun, gugatan mengklaim bahwa meskipun banyak interaksi dengan Character. AI tidak berbahaya, beberapa pengguna di bawah umur menjadi terikat secara kompulsif pada bot, yang dapat berubah menjadi percakapan yang diseksualisasi atau topik seperti menyakiti diri sendiri. Gugatan ini mengkritik Character. AI karena tidak menyediakan sumber daya kesehatan mental ketika topik semacam itu muncul. "Kami mengakui bahwa pendekatan keamanan kami harus maju seiring dengan teknologi yang memicu produk kami — menciptakan platform di mana kreativitas dan eksplorasi dapat berkembang tanpa mengorbankan keselamatan, " kata siaran pers Character. AI. "Rangkaian perubahan ini adalah bagian dari dedikasi berkelanjutan kami untuk terus meningkatkan kebijakan dan produk kami. "