Kalifornský generální prokurátor Rob Bonta vydal xAI, společnost Elona Muska, výzvu k ukončení činnosti a zákaz šíření nesouhlasně vytvořených sexuálních obrázků. Bonta upozornil na řadu případů, kdy xAI přeměnila běžné, oblečené fotografie žen a dětí na sexuálně explicitní nebo „svlékací“ zobrazení bez souhlasu, což porušuje státní zákony, včetně nedávného zákazu hlubokých padělků pornografie. Přestože Bonta uvedl, že xAI nedávno omezila použití Grok AI v regionech, kde je generování bikin obrázků nelegální, otázal se na účinnost těchto opatření. Dopis Bonty následoval po oznámení vyšetřování, zda xAI a její sociální platforma X porušily zákony tím, že umožnily šíření nesouhlasně vytvářených sexuálních obrázků prostřednictvím nové funkce úpravy obrázků od Grok, která byla spuštěna minulý měsíc. Stroze odsoudil nárůst explicitního obsahu produkovaného xAI jako obtěžování a vyzval k okamžitým nápravným krokům. Postižené osoby z Kalifornie mohou nahlásit porušení prostřednictvím webové stránky generálního prokurátora. xAI se k vyšetřování ještě nevyjádřila. Výzkum od Bloomberg ukázal, že uživatelé Groku zveřejnili více nesouhlasně vytvořených sexuálních obrázků než na jakékoli jiné webové stránce. Na to Musk odpověděl sliby o „následcích“ pro pachatele a Grok omezil úpravu obrázků pouze pro platící uživatele. Právní experti, včetně bývalého advokáta pro sexuální trestné činy v LA Sama Dorduliana, upozorňují, že xAI a X pravděpodobně porušují kalifornský zákon AB 621 o hlubokých padělcích a pornografii. Autorka zákona, poslankyně Rebecca Bauer-Kahan, zdůraznila, že zákon je přesně zaměřen na tyto zneužití, zejména na manipulaci s obrázky žen a dětí do explicitního obsahu, což způsobuje vážnou psychologickou a reputační újmu. Toto vyšetřování souzní s širšími globálními obavami, včetně výzev guvernéra Gavina Newsoma, regulatorních reakcí v EU a Indii či úplného zákazu X v několika zemích. S rostoucími počty stažení aplikace Grok volají zákonodárci na Apple a Google, aby aplikaci zakázaly. Motivace za designem Groku a jeho reakcí na kontroverze zůstávají nejasné, přičemž analýzy ho označují za jeden z nejméně transparentních systémů AI. Dále narůstají důkazy o škodách způsobených hlubokými padělky: FBI varuje před stoupajícím počtem případů vydírání s mladistvými vedoucích ke sebepoškozování a sebevraždám; v tréninkových datech AI byla nalezena materiály obsahující sexuální násilí na dětech; průzkumy ukazují, že mnoho středoškoláků se setkalo se sexuálně explicitními obrázky spolužáků.

Vyšetřování Bonty následuje po předchozích snahách chránit nezletilé před škodlivým obsahem AI, včetně podpoření legislativy, která zakazuje chatbotům diskutovat o sexuálně explicitních tématech či sebepoškozování s nezletilými, a účastí v dopisech více států, které vyvíjejí tlak na společnosti jako Meta a OpenAI ohledně nevhodných interakcí chatbotů s nezletilými. Od roku 2019 Kalifornie přijala několik zákonů na ochranu osob před hlubokými padělky. Nedávno posílený zákon AB 621 umožňuje státním zástupcům žalovat firmy, které nedbale pomáhají šíření pornografie s hlubokým padělkem bez souhlasu, i bez prokázání skutečné škody na obětech. Možný odškodnění může dosáhnout 250 000 dolarů a nevyhovující webové stránky mohou být pokutovány 25 000 dolarů za porušení, pokud nezasáhnou do 30 dnů. Další zákony platné od roku 2024 rozšířily definici dětské pornography o materiály vytvořené AI a vyžadují rychlé možnosti odstraňování na sociálních sítích, přičemž takové hluboké padělky jsou považovány za digitální krádež identity. Avšak zákon o omezení hlubokých padělků při volbách byl napadnut u soudu a zrušen. Právní experti upozorňují, že ačkoliv nové zákony nabízí možnosti nápravy, výzvy přetrvávají. Důkaz šíření, často složitý vzhledem k tomu, že uživatelé „nudify“ aplikací se často znají a obrázky sdílejí jen omezeně. Dordulian zmínil případ chůvky, jejíž zaměstnavatel vytvořil manipulované obrázky z jejích Instagramových fotek, způsobit jí emoční trauma, avšak právně na to není jasná cesta dle zákonů o hlubokých padělcích. Oběti hlásí podobné mezery, kdy samotný akt tvorby zůstává nelegálně nekontrolovaný. Obhájci jako Jennifer Gibson z Psst, která nabízí bezplatnou právní podporu odhalovačům škodlivé AI, tvrdí, že stávající zákony nestačí na ochranu insiderů, kteří odhalují škodlivé praktiky AI. Nedávný kalifornský zákon na ochranu whistleblowerů pokrývá pouze katastrofické riziko vedoucí ke hromadným úmrtním či škodám, nikoliv škody spojené s hlubokými padělky. Pokud by byl zákon širší, bývalí zaměstnanci X, kteří hlásili, že Grok generuje nezákonný sexuální obsah, by mohli mít silnější ochranu při oznamování protiprávního jednání úřadům. Shrnuto, Kalifornie je v čele legislativy týkající se hlubokých padělků, avšak současné zákony a ochrany je třeba rozšířit a zkvalitnit, aby efektivně čelily rostoucím rizikům, které představuje manipulace s obrázky prostřednictvím AI, chránily oběti a podporovaly interní odpovědnost.