Kalifornský generálny prokurátor Rob Bonta vydal písomný zákaz a výzvu na ukončenie činností xAI, spoločnosti Elona Muska, s požiadavkou, aby zastavila vytváranie a šírenie sexuálne explicitných obrázkov bez súhlasu. Bonta poukázal na množstvo prípadov, kde xAI transformovala obyčajné, oblečené fotografie žien a detí na sexuálne explicitné alebo “vyzlečené” zobrazenia bez súhlasu, čím porušila štátne zákony vrátane nedávneho zákazu “deepfake” pornografie. Pri upozornení na nedávne kroky xAI, ako je obmedzenie používania Grok AI v oblastiach, kde je generovanie bikini obrázkov nezákonné, Bonta spochybnil účinnosť týchto opatrení. Bontova listinka nasledovala po oznámení vyšetrovania, či xAI a jej sociálna platforma X porušili zákony umožnením šírenia sexuálne explicitných obrázkov bez súhlasu cez novú funkciu úpravy obrázkov v Grok, ktorá bola spustená minulý mesiac. Kritizoval nárast explicitného obsahu vytvoreného xAI ako obtiažnej a naliehal na okamžité nápravy. Obyvatelia Kalifornie, ktorých sa to týka, môžu oznámiť porušenia cez webovú stránku generálneho prokurátora. xAI zatiaľ nevyjadrila komentár k vyšetrovaní. Výskum Bloomberg zistil, že používatelia Grok zverejnili viac sexuálne explicitných obrázkov bez súhlasu ako na akýchkoľvek iných weboch. Ako odpoveď Musk sľúbil “následky” pre páchateľov a Grok obmedzil úpravu obrázkov len na platiacich používateľov. Právni experti vrátane bývalého právnika pre sexuálne zločiny v LA Sama Dorduliana tvrdia, že xAI a X pravdepodobne porušujú kalifornský zákon AB 621 o deepfake pornografii. Autorka zákona, poslankyňa Rebecca Bauer-Kahan, zdôraznila, že zákon je určený práve na tieto zneužitia, najmä manipuláciu s obrázkami žien a detí na explicitný obsah, čo spôsobuje vážne psychické a reputačné škody. Táto vyšetrovanie je súčasťou širších globálnych obáv, vrátane výziev guvernéra Gavina Newsoma, regulačného odporu v EÚ a Indii či úplných zákazov platformy X v niektorých krajinách. S rastúcim počtom sťahovaní aplikácie Grok vyzývajú zákonodarcovia Apple a Google, aby aplikáciu zakázali. Dôvody návrhu Grok a jej reakcie na kontroverzie zostávajú nejasné a analýzy ju označujú za jeden z najmenej priehľadných systémov AI. Dôkazy škôd spôsobených deepfakeami sa množia: FBI varuje pred narastajúcimi prípady vydieračských útokov na mladých ľudí, ktoré vedú k sebapoškodzovaniu a samovraždám; zistené boli deti sexuálne zneužívajúci materiál vo vzdelávacích dátach AI; a prieskumy ukazujú, že mnohí stredoškoláci sa stretli s porno explicitnými obrázkami svojich rovesníkov.

Vyšetrovanie Bontu nasleduje po predchádzajúcich snahách chrániť maloletých pred škodlivým obsahom AI, vrátane podporovania legislatívy o obmedzení chatovacích robotov v sexuálnych alebo sebapoškodzovacích diskusiách s maloletými a pridania sa k viacerým štátnym listom, ktoré vyzývajú spoločnosti ako Meta a OpenAI na riešenie problematických interakcií s mládežou. Od roku 2019 Kalifornia prijala niekoľko zákonov na ochranu osôb pred deepfakeami. Nedávno posilnený zákon AB 621 umožňuje prokurátorom žalovať spoločnosti, ktoré nezodpovedne podporujú šírenie deepfake pornografie bez súhlasu, a to aj bez dôkazu skutočnej škody na obetiach. Posilňuje možné odškodnenie na 250 000 dolárov a pokuty za nezákonné webstránky do 25 000 dolárov za každé porušenie, ak nedodržia opatrenia do 30 dní. Zákony z roku 2024 rozšírili definíciu detskej pornografie o materiály generované AI a zaviedli rýchle možnosti odstránenia na sociálnych sieťach, pričom takéto deepfake považujú za digitálnu krádež identity. Avšak zákon obmedzujúci deepfake vo voľbách bol zrušený po žalobe spoločnosti X a Elona Muska. Právni experti dodávajú, že hoci nové zákony otvárajú možnosti na odškodnenie, prekážky zostávajú. Dôkaz distribúcie, potrebný pre mnoho práv na ochranu, môže byť ťažký, pretože používatelia “nudify” aplikácií často poznajú jeden druhého a obrázky nezdieľajú bežne. Dordulian uviedol prípad opatrovateľky, ktorej zamestnávateľ vytvoril manipulované obrázky jej Instagramových fotografií, spôsobujúc jej emocionálne trauma, no právne možnosti boli obmedzené. Obete hlásia podobné medzery, kde samotný tvorba ostáva neregulovaná. Proti aktivistky ako Jennifer Gibson zo skupiny Psst, ktorá poskytuje právnu podporu whistleblowerom AI, tvrdia, že existujúce zákony nestačia na ochranu tých, ktorí odhaľujú škodlivé praktiky AI. Nedávny kalifornský zákon o whistleblowingoch pokrýva len extrémne riziká spôsobujúce masové úmrtia či škody, nezahŕňa však škody spojené s deepfakeami. Keby bol tento zákon širší, bývalí zamestnanci X, ktorí oznámili generovanie nelegálneho sexuálneho obsahu v Grok, by mohli mať silnejšiu ochranu pri oznamovaní nezrovnalostí. V súhrne, Kalifornia je na čele v legislatíve týkajúcej sa deepfakeov, no súčasné zákony a opatrenia si vyžadujú rozšírenie a zlepšenie, aby účinne čelili rastúcim hrozbám spôsobeným manipuláciou s obrazmi prostredníctvom AI, chránili obete a podporovali vnútornú zodpovednosť.