Tạp chí Santa Barbara Independent tái đăng các bài viết từ CalMatters. org về các vấn đề liên quan đến tiểu bang và địa phương ảnh hưởng đến độc giả Quận Santa Barbara. Bộ trưởng Tư pháp California Rob Bonta thông báo đang điều tra Elon Musk’s X và xAI vì cáo buộc công nghệ của họ đã giúp phạm pháp lan truyền các hình ảnh khỏa thân hoặc có tính chất tình dục không có sự đồng ý trong những tuần gần đây. xAI được cho là đã cập nhật công cụ GPT AI của mình tháng trước để có khả năng chỉnh sửa hình ảnh, và người dùng đã lợi dụng điều này trên X để loại bỏ quần áo khỏi các bức tranh của phụ nữ và trẻ em. Bonta lên án sự gia tăng các báo cáo về vai trò của xAI trong việc sản xuất và đăng tải nội dung khiêu dâm không có sự đồng ý trực tuyến, nhấn mạnh tác hại của nó gây ra. Ông kêu gọi công ty hành động ngay lập tức và mời những người California bị ảnh hưởng bởi các hình ảnh đó báo cáo qua trang web của Bộ trưởng Tư pháp. Khi liên hệ, xAI không phản hồi về cuộc điều tra. Nghiên cứu của Bloomberg cho thấy người dùng X sử dụng Grok đã đăng tải nhiều hình ảnh khiêu dâm không có sự đồng ý hơn bất kỳ nền tảng nào khác. Musk hứa sẽ có hậu quả đối với những người tạo ra nội dung phạm pháp, và gần đây Grok chỉ giới hạn chỉnh sửa hình ảnh cho các thuê bao trả phí. Một đạo luật California mới ban hành, AB 621, quy trách nhiệm pháp lý cho những người tạo và phân phối nội dung “deepfake” porn, và xAI dường như đang vi phạm đạo luật này theo chuyên gia pháp lý Sam Dordulian. Phó Chủ tịch Hạ viện Rebecca Bauer-Kahan, tác giả của đạo luật, cho biết AB 621 được thiết kế để xử lý các lạm dụng như hiện nay xảy ra trên X, nhấn mạnh thiệt hại tâm lý và uy tín nghiêm trọng đối với nạn nhân, bao gồm trẻ em bị khai thác trong nội dung lạm dụng tình dục. Cuộc điều tra của Bonta theo sau các cuộc vận động tương tự của Thống đốc Gavin Newsom, các phản ứng từ cơ quan quản lý ở EU và Ấn Độ, cũng như lệnh cấm X tại Malaysia, Indonesia và có thể là Vương quốc Anh. Khi số lượt tải ứng dụng Grok tăng trên các kho ứng dụng của Apple và Google, các nhà lập pháp và nhà vận động đang kêu gọi các công ty này cấm ứng dụng. Những lý do đằng sau các quyết định thiết kế của Grok và phản ứng của nó đối với các tranh cãi vẫn còn chưa rõ, do các phân tích xếp nó vào hàng các hệ thống AI kém minh bạch nhất. Chứng cứ thiệt hại thật sự từ deepfake ngày càng nhiều. Năm 2024, FBI cảnh báo về tình trạng gia tăng các vụ tống tiền liên quan đến deepfake nhắm vào giới trẻ, liên quan đến tự sát và tự gây thương tích. Các cuộc kiểm tra cho thấy có chứa nội dung lạm dụng tình dục trẻ em trong dữ liệu huấn luyện AI, tạo điều kiện để sinh ra các hình ảnh khiêu dâm.

Một cuộc khảo sát của Trung tâm Dân chủ và Công nghệ cho thấy 15% học sinh trung học biết hoặc đã từng thấy hình ảnh mang tính khiêu dâm của bạn cùng lớp trong năm qua. Cuộc điều tra này tham gia vào nỗ lực liên tục của Bộ trưởng Tư pháp Bonta để bảo vệ giới trẻ khỏi các tác hại của AI. Năm ngoái, ông ủng hộ dự luật cấm chatbot trò chuyện với trẻ vị thành niên về tự hại hoặc nội dung tình dục, và tham gia cùng 44 bang yêu cầu các công ty như Meta và OpenAI giải thích về hành vi không phù hợp của chatbot với trẻ vị thành niên. Từ năm 2019, California đã ban hành nhiều luật để bảo vệ chống deepfake. AB 621 sửa đổi và tăng cường các biện pháp trước đó bằng cách cho phép các công tố viên kiện các công ty “thiết lâp mờ ám” trong việc phân phối deepfake không có sự đồng ý, giúp cá nhân có thể khởi kiện qua các cơ quan địa phương. Luật này nâng mức thiệt hại tiềm năng từ 150. 000 đô la lên 250. 000 đô la và phạt 25. 000 đô la mỗi vi phạm đối với các website vi phạm. Các luật mới khác trong năm 2024 (AB 1831 và SB 1381) mở rộng định nghĩa về nội dung khiêu dâm trẻ em để bao gồm nội dung do AI tạo ra và yêu cầu các nền tảng mạng xã hội cung cấp phương thức loại bỏ đơn giản các deepfake, coi đó như trộm cắp danh tính kỹ thuật số. Một luật hạn chế sử dụng deepfake trong bầu cử bị một thẩm phán liên bang bác bỏ năm ngoái sau vụ kiện của X và Musk. Dù đã có những tiến bộ pháp lý, các chuyên gia như Dordulian cho rằng cần có nhiều cải cách hơn nữa, vì việc chứng minh vi phạm khá khó khăn khi các hình ảnh rõ ràng được chia sẻ riêng tư hoặc không phổ biến rộng rãi. Những vụ việc như một bà quản lý trẻ phát hiện ra các hình ảnh chỉnh sửa của chính mình do khách hàng tạo ra cho thấy luật hiện hành có thể bắt buộc nạn nhân phải dựa vào các yêu cầu bồi thường vì sơ suất thay vì các quy định rõ ràng về deepfake. Nhiều nạn nhân đã nhận thấy còn những khoảng trống giữa “tạo ra” và “phân phối” trong các quy định hiện có, hạn chế khả năng bảo vệ. Jennifer Gibson, đồng sáng lập của Psst, một nhóm luật miễn phí dành cho những người tố giác công nghệ, cho biết dù California bảo vệ những người tố giác đối mặt với rủi ro AI tàn phá, các luật này chưa bao gồm những người tố giác liên quan đến thiệt hại gây ra bởi deepfake. Nếu các chế độ bảo vệ này có bao gồm deepfake, các cựu nhân viên X đã báo cáo việc Grok tạo ra nội dung khiêu dâm phạm pháp có thể đã nhận được các biện pháp bảo vệ pháp lý khi tố giác. Gibson nhấn mạnh nhu cầu cấp thiết về các bảo vệ mạnh mẽ hơn để nội bộ có thể báo cáo các hành vi lạm dụng dự kiến, đảm bảo trách nhiệm của các tập đoàn và an toàn cộng đồng. Tóm lại, California đang tích cực đối phó với các mối nguy hiểm do việc sáng tạo và phân phối các hình ảnh deepfake không có sự đồng ý và mang tính chất kích dục bằng AI thông qua các cuộc điều tra và luật pháp mới nhất, tuy nhiên, các nhà vận động nhấn mạnh cần thêm các cải tiến và minh bạch để bảo vệ hiệu quả nạn nhân và giữ cho các công ty có trách nhiệm.