Independence Santa Barbara přebírá příběhy z CalMatters. org, které pokrývají státní a místní otázky ovlivňující čtenáře v okrese Santa Barbara. Generální prokurátor Kalifornie Rob Bonta oznámil vyšetřování Elona Muska a jeho společností X a xAI vzhledem k obviněním, že jejich technologie umožnily ilegální šíření nahých nebo sexuálně explicitních obrázků bez souhlasu v posledních týdnech. Podle informací společnost xAI minulý měsíc aktualizovala svůj nástroj Grok AI, aby obsahoval možnosti úpravy obrázků, což zneužívali uživatelé na X k odstranění oblečení z fotografií žen a dětí. Bonta odsoudil nárůst hlášení o rolí xAI při výrobě a publikaci nevítaných sexuálně explicitních obsahu online a zdůraznil škody, které to způsobuje. Vyzval společnost, aby okamžitě jednala, a pozval Kaliforňany postižené takovými zobrazeními, aby je nahlásili prostřednictvím webové stránky generálního prokurátora. Společnost xAI při kontaktu k vyšetřování nekomentovala. Výzkum agentury Bloomberg ukázal, že uživatelé X, kteří používali Grok, zveřejňovali více nevítaných explicitních obrázků než na jakékoliv jiné platformě. Musk slíbil důsledky pro tvůrce nelegálního obsahu a nedávno omezil úpravu obrázků na předplatitele platících služeb. Nově přijatý zákon Kalifornie, AB 621, právně odpovídá tvůrcům a distributorům „deepfake“ pornografie a podle právního experta Sama Dorduliana je xAI tímto zákonem zřejmě porušována. Členka sněmovny Rebecca Bauer-Kahan, autorka zákona, uvedla, že AB 621 má řešit zneužívání, k němuž nyní dochází na X, a zdůraznila vážnou psychickou a reputační škodu na obětných, včetně dětí zneužívaných v sexuálním násilí. Vyšetřování Bonty následuje podobné výzvy guvernéra Gavina Newsoma, regulační reakce v EU a Indii, a zákazy používání X v Malajsii, Indonésii a možná i ve Velké Británii. Stahování aplikace Grok z obchodů Apple a Google roste a zákonodárci i ochranci volají po jejím zákazu. Důvody volby designu Grok a jeho reakce na kontroverze zůstávají nejasné, navíc jsou analyzy, které ho řadí mezi nejméně transparentní systémy AI. Důkazy skutečné škody způsobené deepfakes se množí. V roce 2024 FBI varovala před rostoucími případy vydírání za pomoci deepfakes zaměřenými na mladé lidi, s odvoláním na sebepoškozování a sebevraždy. Audity odhalily obsah sexuálního zneužívání dětí v tréninkových datech AI, což umožňuje generování explicitních obrázků.

Průzkum centra pro demokracii a technologii zjistil, že 15 % studentů středních škol ví o nebo vidělo v uplynulém roce sexuálně explicitní obrázky od svých vrstevníků. Toto vyšetřování se připojuje k pokračujícím snahám generálního prokurátora Bonty chránit mládež před škodami z AI. Loni podpořil zákon, který zakazuje chatbotům zapojovat nezletilé do sebepoškozování nebo sexuálně explicitních konverzací, a připojil se ke 44 státům, které žádají vysvětlení od firem Meta a OpenAI ohledně nevhodného chování chatbotů vůči nezletilým. Od roku 2019 Kalifornie schválila několik zákonů na ochranu před deepfakes. AB 621 doplňuje a posiluje předchozí opatření tím, že umožňuje žalovat firmy „neřádně“ usnadňující nevhodné šíření deepfake obsahu, a umožňuje jednotlivcům požadovat právní kroky u místních úřadů. Zákon zvyšuje možnou škodu z 150 000 na 250 000 dolarů a stanoví pokuty 25 000 dolarů za porušení pro webové stránky. Další zákony z roku 2024 (AB 1831 a SB 1381) rozšiřují definici dětské pornografie o obsah generovaný umělou inteligencí a žádají platformy sociálních médií o jasné postupy odstraňování deepfakeů, přičemž tyto příspěvky považují za digitální krádež identity. Loni federální soud zamítl zákon o omezení používání deepfake ve volbách po žalobě od X a Muska. Navzdory právním pokrokům však experti jako Dordulian tvrdí, že je třeba dalších reforem, neboť dokázat porušení zákona je složité, když jsou explicitní obrázky sdíleny soukromě nebo nejsou široce rozšířené. Případy jako chůva objevující zmanipulované obrázky sebe samé vytvořené klientem ukazují, jak mohou současné zákony donutit oběti spíše spoléhat na nároky z nedbalosti než na konkrétní zákony o deepfake. Gibson, spoluzakladatelka organizace Psst, která poskytuje právní podporu whistleblowerům v oblasti technologií, uvádí, že zatímco Kalifornie chrání oznamovatele ohrožených katastrofickými riziky AI, takové zákony nechrání ty, kdo odhalují škody spojené s deepfakes. Kdyby byly tyto ochrany rozšířeny i na deepfakes, mohli by bývalí zaměstnanci X, kteří hlásili generování nelegálního explicitního obsahu společností Grok, získat právní ochranu za své upozornění. Gibson zdůrazňuje naléhavou potřebu silnějších ochran, které umožní insiderům hlásit předvídatelné zneužívání, a tím zajistit odpovědnost firem a bezpečnost veřejnosti. Stručně řečeno, Kalifornie aktivně řeší nebezpečí spojená s tvorbou a šířením nevítaných a explicitních deepfake obrazů prostřednictvím nedávných vyšetřování a legislativy, avšak aktivisté upozorňují, že je třeba dalších reforem a větší transparentnosti, aby bylo možné efektivně chránit oběti a postihnout firmy.