Генеральный прокурор Калифорнии Роб Бонта направил компании xAI, компанию Илона Маска, письмо о прекращении деятельности и требование прекратить создание и распространение несогласованных сексуальных изображений. Бонта подчеркнул, что было много случаев, когда xAI превращала обычные, одетые фотографии женщин и детей в сексуально откровенные или «раздетые» изображения без согласия, что нарушает законы штата, включая недавно введённый запрет на порнографию, созданную с помощью технологии глубокого фейка. Отмечая недавние действия xAI, такие как ограничение использования Grok AI в регионах, где незаконно создавать изображения бикини, Бонта поставил под сомнение эффективность этих мер. Письмо Бонты последовало за объявлением о начале расследования, выясняя, нарушают ли xAI и их социальная платформа X законы, содействуя распространению несогласованных сексуальных изображений через новую функцию редактирования изображений Grok, запущенную в прошлом месяце. Он осудил рост объёмов неприемлемого контента, созданного xAI, как формы преследования, и призвал принять немедленные меры. Пострадавшие жители Калифорнии могут сообщать о нарушениях через сайт генерального прокурора. Комментариев от xAI по поводу расследования пока не поступало. Исследование Bloomberg показало, что пользователи Grok публиковали больше несогласованных сексуальных изображений, чем на любом другом сайте. В ответ Маск пообещал «последствия» для виновных, а Grok ограничил редактирование изображений только для платных пользователей. Юридические эксперты, включая бывшего адвоката по сексуальным преступлениям Лос-Анджелеса Сэма Дордульяна, считают, что xAI и X, вероятно, нарушают закон Калифорнии AB 621 о порнографии с использованием глубоких фейков. Автор этого закона, депутат Ребекка Бауэр-Кахан, подчеркнула, что закон направлен именно против таких злоупотреблений, особенно манипуляций изображениями женщин и детей с целью создания откровенного контента, что наносит серьёзный психологический и репутационный вред. Это расследование соответствует более широким глобальным вызовам, включая призывы губернатора Гэвина Ньюсома, регуляторные давления в ЕС и Индии, а также полные запреты X в нескольких странах. В связи с ростом количества загрузок приложения Grok законодатели требуют запретить его использование Apple и Google. Причины разработки Grok и реакции на разногласия остаются неясными, некоторые оценки называют его одной из наименее прозрачных систем искусственного интеллекта. Доказательства вреда от глубоких фейков растут: ФБР предупреждает о росте случаев вымогательства, в которых задействованы молодые люди, что приводит к самоповреждениям и суицидам; материалы сексуального насилия над детьми обнаружены в обучающих данных ИИ; опросы показывают, что многие старшеклассники сталкивались с сексуально откровенными изображениями сверстников.

Расследование Бонты следует за предыдущими попытками защитить несовершеннолетних от вредного контента ИИ, включая поддержку законодательства, ограничивающего обсуждение секса и самоповреждений с участием несовершеннолетних через чатботы, а также участие в совместных письмах нескольких штатов с призывами к компаниям, таким как Meta и OpenAI, регулировать неподобающие взаимодействия чатботов с детьми. С 2019 года в Калифорнии было принято несколько законов, защищающих граждан от глубоких фейков. Закон AB 621, недавно усиленный, позволяет прокурорам подавать иски против компаний, безрассудно способствующих распространению порнографии с помощью deepfake без согласия, даже без необходимости доказывать реальный вред жертвам. Он предусматривает штрафы до 250 000 долларов и штрафы по 25 000 долларов за нарушение для сайтов, не предпринявших меры в течение 30 дней. В 2024 году были расширены определения детской порнографии на основе ИИ и введены обязательные меры быстрого удаления таких материалов на соцсетях, рассматривая глубокие фейки как цифровое похищение личности. Однако закон о запрете глубоких фейков во время выборов был отменён после судебного иска X и Маска. Юридические эксперты отмечают, что несмотря на новые законы, остаются сложности. Доказать распространение зачастую трудно, поскольку пользователи приложений типа «nudify» обычно знают друг друга и не делятся изображениями широко. Дордульян привёл пример няни, чья работодатель создал манипулированные изображения с её фотографий из Instagram, что вызвало эмоциональные травмы, но юридически трудно предъявить обвинения по существу закона о deepfake. Пострадавшие отмечают подобные пробелы, когда создание изображений остаётся неконтролируемым аспектом без регулирования. Защитники, такие как Дженнифер Гибсон из организации Psst, предоставляющей бесплатную юридическую помощь информаторам ИИ, утверждают, что существующие законы недостаточно защищают тех, кто раскрывает вредные практики ИИ. Недавний закон штата Кал ifорния о защите информаторов охватывает только катастрофические риски с массовыми смертями или разрушениями, исключая вред, связанный с deepfake. Если бы этот закон был более широким, бывшие работники X, сообщающие о создании Grok нелегального сексуального контента, могли бы иметь более сильную защиту при донесении информации до властей. Итак, Калифорния лидирует в разработке законодательства о deepfake, однако текущие законы и механизмы защиты требуют расширения и совершенствования, чтобы эффективно противостоять новым угрозам, связанным с манипуляциями сексуальными изображениями с помощью ИИ, защищать жертв и стимулировать внутреннюю ответственность.