Cục trưởng Cục Quản lý An ninh và Pháp lý California Rob Bonta đã gửi thư yêu cầu xAI, công ty của Elon Musk, ngừng việc tạo ra và phân phát các hình ảnh sex không có sự đồng ý. Bonta chỉ ra nhiều trường hợp xAI đã biến những bức ảnh bình thường, có quần áo của phụ nữ và trẻ em thành những hình ảnh mang tính chất tình dục hoặc "không mặc quần áo" mà không có sự đồng ý, vi phạm các luật của bang bao gồm cả lệnh cấm mới về nội dung phim người lớn "deepfake". Trong khi ghi nhận các hành động gần đây của xAI như hạn chế việc sử dụng Grok AI ở những vùng pháp luật không cho phép tạo hìnhảnh bikini, Bonta vẫn đặt câu hỏi về hiệu quả của các biện pháp này. Thư của Bonta sau cuộc điều tra về việc liệu xAI và nền tảng xã hội X có vi phạm luật hay không khi cho phép phát tán hình ảnh tình dục không có sự đồng ý thông qua tính năng chỉnh sửa hình ảnh mới của Grok được ra mắt tháng trước. Ông lên án việc nội dung nhạy cảm do xAI tạo ra ngày càng gia tăng là quấy rối và kêu gọi các biện pháp khắc phục ngay lập tức. Người dân California bị ảnh hưởng có thể báo cáo vi phạm qua website của cục trưởng cục an ninh và pháp lý. xAI vẫn chưa có bình luận về cuộc điều tra này. Nghiên cứu của Bloomberg cho thấy người dùng Grok đăng nhiều hình ảnh sex không có sự đồng ý hơn bất kỳ website nào khác. Đáp lại, Musk hứa sẽ xử lý "hậu quả" đối với các hành vi vi phạm, và Grok đã giới hạn việc chỉnh sửa hình ảnh cho người dùng trả phí. Các chuyên gia pháp lý, trong đó có cựu luật sư về tội phạm tình dục của Los Angeles, Sam Dordulian, cho biết xAI và X có khả năng vi phạm luật porn "deepfake" AB 621 của California. Nghị sĩ Rebecca Bauer-Kahan, tác giả của luật này, nhấn mạnh rằng luật này nhắm vào chính những hành vi lạm dụng này, đặc biệt là việc thao túng hình ảnh của phụ nữ và trẻ em thành nội dung rõ ràng, gây tổn thương về tâm lý và uy tín. Cuộc điều tra này phù hợp với các mối quan tâm toàn cầu rộng hơn, bao gồm cả các lời kêu gọi của Th Governor Gavin Newsom, phản ứng của các cơ quan quản lý ở EU và Ấn Độ, và cấm hoàn toàn X tại nhiều quốc gia. Khi số lượt tải ứng dụng Grok tăng mạnh, các nhà lập pháp kêu gọi Apple và Google cấm ứng dụng này. Nguyên nhân đằng sau thiết kế của Grok và phản ứng của nó trước các tranh cãi vẫn còn chưa rõ ràng, trong khi các phân tích gọi đó là một trong những hệ thống trí tuệ nhân tạo ít minh bạch nhất. Chứng cứ về tác hại của deepfake ngày càng nhiều: FBI cảnh báo các vụ tống tiền gia tăng liên quan đến người trẻ dẫn đến tự tử và tổn thương tâm thần; các tài liệu quấy rối tình dục trẻ em đã được phát hiện trong dữ liệu huấn luyện AI; và khảo sát cho thấy nhiều học sinh trung học đã từng thấy các hình ảnh tình dục của bạn cùng lớp.

Cuộc điều tra của Bonta theo sau các nỗ lực trước đó nhằm bảo vệ trẻ vị thành niên khỏi nội dung AI có hại, bao gồm việc ủng hộ luật hạn chế chatbot thảo luận về nội dung sex hoặc tự gây tổn thương với người dưới tuổi vị thành niên, và tham gia các thư ký nhiều bang yêu cầu các công ty như Meta và OpenAI kiểm soát các tương tác không phù hợp của chatbot với trẻ vị thành niên. Từ năm 2019, California đã ban hành nhiều luật bảo vệ cá nhân khỏi deepfake. AB 621, vừa được tăng cường, cho phép các công tố viên kiện các công ty vô trách nhiệm trợ giúp phát tán nội dung porn deepfake khi không có sự đồng ý, dù chưa chứng minh thiệt hại thực tế cho nạn nhân. Luật này nâng mức thiệt hại tối đa lên 250. 000 đô la và phạt các trang web vi phạm 25. 000 đô la mỗi vi phạm nếu không hành động trong vòng 30 ngày. Các luật năm 2024 còn mở rộng định nghĩa về nội dung whenếp dâm trẻ em thành các tài liệu do AI tạo ra và yêu cầu các nền tảng mạng xã hội cung cấp phương án gỡ bỏ nhanh chóng, coi deepfake như hành vi trộm danh tính kỹ thuật số. Tuy nhiên, luật hạn chế deepfake trong bầu cử đã bị hủy bỏ sau vụ kiện của X và Musk. Các chuyên gia pháp lý nhận định rằng trong khi luật mới mở ra cơ hội đòi bồi thường, vẫn còn nhiều thách thức. Việc chứng minh phân phối, điều kiện để hưởng các quyền bảo vệ, có thể khó khăn vì người dùng các ứng dụng "nudify" thường biết nhau và ít chia sẻ rộng rãi hình ảnh. Dordulian dẫn chứng về một vụ việc bảo mẫu bị chủ lao động chỉnh sửa hình ảnh từ Instagram của cô gây tổn thương tâm lý, nhưng không rõ ràng về khả năng pháp lý để khởi kiện dựa trên luật deepfake. Các nạn nhân cũng phản ánh về những lỗ hổng này, trong đó hành vi sáng tạo ảnh không có quy định rõ ràng. Những người ủng hộ như Jennifer Gibson của Psst, tổ chức cung cấp hỗ trợ pháp lý miễn phí cho các người tố giác AI, cho rằng luật hiện hành chưa đủ để bảo vệ những người tiết lộ hành vi sai trái của AI. Luật bảo vệ whistleblower của California mới đây chỉ tập trung vào các rủi ro gây tử vong hoặc thiệt hại lớn, không bao gồm các tác hại từ deepfake. Nếu luật này rộng hơn, các cựu nhân viên của X từng tố cáo Grok tạo nội dung tình dục trái phép có thể đã nhận được sự bảo vệ mạnh hơn khi báo cáo hành vi sai trái với cơ quan chức năng. Tóm lại, California đang dẫn đầu về luật liên quan đến deepfake, nhưng các luật hiện tại và các biện pháp bảo vệ cần được mở rộng và nâng cấp để đối phó hiệu quả với các rủi ro ngày càng tăng do việc thao túng hình ảnh tình dục bằng AI, bảo vệ các nạn nhân, và thúc đẩy trách nhiệm nội bộ đóng vai trò then chốt.