Kalifornijski državni tužilac Rob Bonta izdao je pismo o prekidu i obustavi xAI, kompaniji Elona Maska, zahtevajući da prestane sa kreiranjem i distribucijom nepoželjnih seksualnih slika. Bonta je naglasio brojne slučajeve u kojima je xAI pretvarala obične, odevene fotografije žena i dece u seksualno eksplicitne ili "odveć razodete" prikaze bez saglasnosti, čime je prekršila zakone države, uključujući i nedavnu zabranu "deepfake" pornića. Iako je ukazao na nedavne korake kompanije, poput ograničavanja korišćenja Grok AI u regionima gde je ilegalno kreirati bikini slike, Bonta je doveo u pitanje efikasnost ovih mera. Pismo je usledilo nakon najave istrage o tome da li su xAI i njihova društvena platforma X prekršili zakone dopuštajući nepoželjnu širenje seksualnih slika putem nove funkcije uređivanja slika na Grok-u, koja je lansirana prošlog meseca. On je osudio porast eksplicitnog sadržaja kreiranog od strane xAI kao uznemiravanje i pozvao na hitne korektivne korake. Oštećeni Kalifornijanci mogu prijaviti prekršaje putem veb sajta državnog tužioca. xAI još uvek nije komentarisala istragu. Istraživanje Bloomberg-a otkrilo je da su korisnici Grok-a postavljali više nepoželjnih seksualnih slika nego na bilo kojoj drugoj veb lokaciji. Kao odgovor, Mask je najavio "posledice" za prekršioce, a Grok je ograničio uređivanje slika samo na plaćene korisnike. Pravni stručnjaci, uključujući bivšeg advokata za seksualne prestupe u Los Anđelesu, Sama Dorduliana, tvrde da xAI i X verovatno krše kalifornijski zakon AB 621 o deepfake pornografiji. Autorka zakona, zamjenica Rebekka Bauer-Kahan, naglasila je da zakon posebno cilja ove zloupotrebe, posebno manipulaciju slikama žena i dece u eksplicitni sadržaj, što izaziva tešku psihološku i reputacionu štetu. Ova istraga poklapa se sa širim globalnim brigama, uključujući pozive guvernera Gavina Njuzoma, regulatorne reakcije u EU i Indiji, te potpune zabrane X-a u više zemalja. Dok rastu preuzimanja Grok aplikacije, zakonodavci pozivaju Apple i Google da zabrane ovu aplikaciju. Razlozi dizajna Grok-a i njegovog odgovora na kontroverze ostaju nejasni, a analize ga svrstavaju među najmanje transparentne AI sisteme. Dokazi o štetnosti deepfake tehnologije se gomilaju: FBI upozorava na rast slučajeva ucena uklјučujući mlađe, što dovodi do samopovređivanja i samoubistava; pronađeni su materijali o seksualnom zlostavljanju dece ugrađeni u podatke za treniranje AI; a ankete pokazuju da su mnogi srednjoškolci naišli na seksualno eksplicitne slike vršnjaka. Istraživanje Bontе dolazi nakon ranijih napora da se zaštite maloletnici od štetnog AI sadržaja, uključujući podršku zakonima koji ograničavaju chatbote od razgovora o seksualno eksplicitnim temama ili samopovređivanju sa maloletnicima, kao i podršku višestranim pismima kojima se vrši pritisak na kompanije poput Meta i OpenAI u vezi sa neprikladnim interakcijama chatbotova sa maloljetnicima. Od 2019.

godine, Kalifornija je usvojila više zakona koji štite pojedince od deepfakes. AB 621, nedavno pojačan, omogućava tužiocima da tuže kompanije koje nehotično šire deepfake porniće bez saglasnosti, čak i bez dokaza o stvarnoj šteti žrtvama. On takođe predviđa odštetu do 250. 000 dolara i novčane kazne do 25. 000 dolara po prekršaju za nepoštovanje, ukoliko kompanije ne reaguju u roku od 30 dana. Dodatni zakoni za 2024. godinu proširili su definiciju dečije pornografije na materijale generisane putem AI i uveli brzu opciju uklanjanja na društvenim mrežama, tretirajući takve deepfake snimke kao digitalni identitetski krađu. Međutim, zakon koji je zabranuo deepfake u izborima je poništen nakon tužbe X-a i Maska. Pravni stručnjaci ističu da, iako novi zakoni otvaraju mogućnosti za pravdu, postoje izazovi. Dokazivanje distribucije, što je često potrebno za mnoge zaštite, može biti teško jer korisnici "nudify" aplikacija često poznaju jedni druge i ne dele široko slike. Dordulian navodi primer nannies koje su tvorci kreveta na osnovu njenih Instagram fotografija izazvale emocionalnu traumu, ali bez jasnog pravnog sredstva da se zaštite prema zakonima o deepfake tehnologiji. Žrtve su prijavljivale slične probleme gde je sama kreacija ostajala neregulisana. Advokatkinje kao Jennifer Gibson iz Psst, koja nudi besplatnu pravnu pomoć zviždačima AI, tvrde da postojeći zakoni nisu dovoljno jaki da zaštite one koji otkrivaju štetne AI prakse. Nedavni kalifornijski zakon o zviždačima pokriva samo katastrofalne rizike uzrokovane masovnim smrtnim ishodima ili štetama, isključujući štetu povezanu sa deepfake tehnologijom. Da je taj zakon bio širi, bivši zaposleni u X-u koji su prijavili da Grok generiše nezakonit seksualni sadržaj, možda bi imali jaču zaštitu prilikom prijavljivanja prekršaja nad vlastima. Ukratko, Kalifornija prednjači u legislativi o deepfake tehnologiji, ali sadašnji zakoni i zaštite zahtevaju proširenje i unapređenje da bi se efikasnije odgovorilo na rastuće rizike od manipulacije seksualnim slikama pomoću AI, da se zaštite žrtve i podstakne interna odgovornost.