Jaksa Agung California, Rob Bonta, telah mengeluarkan surat perintah berhenti dan menghentikan kepada xAI, perusahaan milik Elon Musk, menuntut agar mereka berhenti membuat dan menyebarkan gambar seksual non-konsensual. Bonta menyoroti berbagai kasus di mana xAI mengubah foto wanita dan anak-anak yang biasa dan berbusana menjadi gambar seksual eksplisit atau "tanpa pakaian" tanpa izin, melanggar hukum negara bagian termasuk larangan baru terhadap pornografi deepfake. Meski menyebut tindakan terbaru xAI, seperti membatasi penggunaan Grok AI di wilayah yang melarang pembuatan gambar bikini, Bonta mempertanyakan efektivitas langkah-langkah tersebut. Surat Bonta ini disusul dengan pengumuman investigasi apakah xAI dan platform sosialnya, X, melanggar hukum dengan memungkinkan penyebaran gambar seksual non-konsensual melalui fitur pengedit gambar baru Grok yang diluncurkan bulan lalu. Ia mengecam peningkatan konten eksplisit yang diproduksi oleh xAI sebagai tindakan intimidasi dan mendesak langkah perbaikan segera. Warga California yang terdampak dapat melaporkan pelanggaran melalui situs web jaksa agung. xAI belum memberikan komentar terkait penyelidikan ini. Penelitian dari Bloomberg menemukan bahwa pengguna Grok memposting lebih banyak gambar seksual non-konsensual daripada situs web lain. Sebagai tanggapan, Musk menjanjikan "konsekuensi" bagi pelanggar, dan Grok membatasi pengeditan gambar hanya untuk pengguna yang membayar. Pakar hukum, termasuk mantan jaksa kejahatan seks di LA, Sam Dordulian, mengungkapkan bahwa xAI dan X kemungkinan melanggar Undang-Undang AB 621 tentang deepfake porn di California. Anggota DPR Rebecca Bauer-Kahan, penulis undang-undang ini, menekankan bahwa undang-undang ini secara spesifik menargetkan penyalahgunaan tersebut, terutama manipulasi gambar wanita dan anak-anak menjadi konten eksplisit, yang menyebabkan kerusakan psikologis dan reputasi yang serius. Investigasi ini sejalan dengan kekhawatiran global yang lebih luas, termasuk seruan dari Gubernur Gavin Newsom, reaksi regulasi di UE dan India, serta larangan langsung terhadap X di beberapa negara. Saat unduhan aplikasi Grok meningkat pesat, para pembuat kebijakan mendesak Apple dan Google untuk melarang aplikasi ini. Alasan di balik desain Grok dan responsnya terhadap kontroversi masih belum jelas, dan analisis menempatkannya sebagai salah satu sistem AI yang paling tidak transparan. Bukti bahaya dari deepfake terus bertambah: FBI memperingatkan meningkatnya kasus pemerasan yang melibatkan kaum muda yang berujung pada menyakiti diri sendiri dan bunuh diri; materi pelecehan seksual terhadap anak ditemukan tertanam dalam data pelatihan AI; serta survei menunjukkan banyak pelajar SMA yang pernah menemukan gambar eksplisit dari sesama mereka.

Investigasi Bonta ini mengikuti upaya sebelumnya untuk melindungi anak-anak dari konten AI yang merugikan, termasuk mendukung legislasi yang membatasi chatbot dari diskusi seks atau menyakiti diri sendiri dengan pengguna di bawah umur, serta bergabung dalam surat dari beberapa negara bagian yang mendesak perusahaan seperti Meta dan OpenAI terkait interaksi chatbot yang tidak pantas dengan anak di bawah umur. Sejak 2019, California telah menerapkan berbagai undang-undang yang melindungi individu dari deepfake. AB 621, yang baru-baru ini diperkuat, memungkinkan jaksa untuk menuntut perusahaan yang secara ceroboh membantu penyebaran pornografi deepfake tanpa izin, bahkan tanpa bukti kerugian nyata kepada korban. Denda yang diatur dapat mencapai 250. 000 dolar dan situs web yang tidak patuh dapat didenda 25. 000 dolar per pelanggaran jika gagal bertindak dalam 30 hari. Undang-undang tambahan tahun 2024 memperluas definisi pornografi anak termasuk materi yang dibuat dengan AI dan mewajibkan opsi penghapusan cepat di media sosial, memperlakukan deepfake sebagai pencurian identitas digital. Namun, sebuah undang-undang yang membatasi deepfake dalam pemilu dibatalkan setelah digugat oleh X dan Musk. Pakar hukum menunjukkan bahwa meskipun undang-undang baru membuka jalan untuk mendapatkan ganti rugi, tantangan tetap ada. Bukti distribusi, yang diperlukan untuk banyak perlindungan, sering kali sulit diperoleh karena pengguna aplikasi “nudify” biasanya saling mengenal dan tidak menyebar gambar secara luas. Dordulian menyebutkan kasus seorang pengasuh yang foto-fotonya dimanipulasi oleh majikannya dari Instagram, menyebabkan trauma emosional namun tidak memiliki jalur hukum yang jelas di bawah undang-undang deepfake. Korban lain melaporkan celah serupa, di mana proses penciptaan saja belum diatur secara penuh. Pendukung seperti Jennifer Gibson dari Psst, yang menawarkan dukungan hukum gratis kepada pelapor AI, berpendapat bahwa undang-undang yang ada saat ini kurang memadai untuk melindungi inside informant yang mengungkap praktik AI yang berbahaya. Sebuah undang-undang whistleblower California yang baru-baru ini berlaku hanya melindungi dari risiko besar yang menyebabkan kematian atau kerusakan massal, dan tidak mencakup kerugian terkait deepfake. Jika undang-undang ini lebih luas, mantan karyawan X yang melaporkan Grok menghasilkan konten seksual ilegal mungkin akan mendapatkan perlindungan yang lebih kuat dalam melaporkan kesalahan kepada pihak berwenang. Singkatnya, California memimpin dalam legislasi terkait deepfake, namun undang-undang dan perlindungan yang ada saat ini perlu diperluas dan diperbaiki agar dapat secara efektif mengatasi risiko yang terus berkembang dari manipulasi gambar seksual berbasis AI, melindungi korban, dan mendorong akuntabilitas internal.