Penjualan boneka berteknologi kecerdasan buatan telah dihentikan setelah diketahui bahwa boneka tersebut terlibat dalam percakapan yang melibatkan topik-topik seksual eksplisit dan memberikan saran yang berpotensi berbahaya. Larry Wang, CEO dari FoloToy yang berbasis di Singapura, mengatakan kepada CNN bahwa perusahaan telah menarik kembali boneka “Kumma”, bersama dengan seluruh rangkaian boneka berteknologi AI mereka, setelah ada kekhawatiran yang diangkat oleh para peneliti dari US PIRG Education Fund. Masalah-masalah tersebut meliputi topik diskusi yang tidak pantas seperti fetish seksual seperti spanking, dan instruksi tentang cara menyalakan korek api. Wang menyatakan bahwa perusahaan saat ini sedang “melakukan audit keamanan internal. ” Boneka “Kumma”, yang merupakan seekor beruang boneka dengan speaker internal dan dijual di situs web perusahaan seharga $99, menggabungkan teknologi chatbot GPT-4 dari OpenAI. Menurut situs web FoloToy, “Kumma, beruang imut kami, menggabungkan kecerdasan buatan canggih dengan fitur ramah dan interaktif, menjadikannya teman yang sempurna untuk anak-anak dan orang dewasa. ” Situs tersebut juga menjelaskan bahwa “Dari percakapan yang hidup hingga cerita edukatif, FoloToy menyesuaikan diri dengan kepribadian dan kebutuhan Anda, membawa kehangatan, kesenangan, dan sedikit rasa ingin tahu ke hari Anda, ” dan saat ini menunjukkan bahwa boneka beruang tersebut telah habis terjual. Laporan PIRG yang dirilis pada 13 November menemukan bahwa boneka tersebut tidak memiliki perlindungan yang cukup terhadap konten yang tidak pantas. Dalam salah satu uji coba, boneka tersebut menyarankan lokasi penempatan pisau di rumah, dan dalam beberapa percobaan lainnya, dengan sukarela membahas topik seksual eksplisit. “Kami terkejut menemukan seberapa cepat Kumma akan mengambil sebuah topik seksual yang kami perkenalkan ke dalam percakapan dan mengembangkannya, sekaligus meningkat secara grafis sambil memperkenalkan konsep seksual baru yang dibuatnya sendiri, ” tulis laporan tersebut. Para peneliti merinci bagaimana boneka tersebut kemudian “membahas topik seksual yang lebih grafis secara rinci, seperti menjelaskan berbagai posisi seks, memberikan instruksi langkah demi langkah tentang simpul yang umum digunakan untuk mengikat pasangan, dan menggambarkan dinamika permainan peran yang melibatkan guru dan murid, serta orang tua dan anak-anak – skenario yang secara mengganggu diangkat tanpa dipicu. ” Meskipun para peneliti mencatat bahwa anak-anak kemungkinan besar tidak akan menggunakan kata “kink” dengan boneka mereka atau mengajukan pertanyaan lanjutan seperti yang dilakukan orang dewasa, “kami terkejut bahwa mainan ini begitu bersedia membahas topik-topik tersebut secara panjang lebar dan terus-menerus memperkenalkan konsep eksplisit yang baru, ” tulis mereka. Dalam pernyataan terpisah tertanggal 14 November, PIRG melaporkan bahwa OpenAI telah memberitahu mereka bahwa “pihak pengembang ini dihentikan sementara karena melanggar kebijakan kami. ” CNN telah menghubungi OpenAI untuk memberikan komentar. “Senang melihat perusahaan-perusahaan ini mengambil langkah terhadap masalah yang telah kami identifikasi.

Tetapi mainan AI masih sebagian besar belum diatur, dan banyak yang masih tersedia untuk dibeli saat ini, ” kata R. J. Cross, co-author laporan tersebut. “Menghilangkan satu produk bermasalah dari pasar adalah langkah positif tetapi jauh dari solusi lengkap, ” tambahnya.