Kalifornijas Prokurors Rob Bonta ir izdevis apturēšanas un apturēšanas rakstu xAI, Elona Maska uzņēmumam, pieprasot pārtraukt neatļautas seksuālas attēlu izveidi un izplatīšanu. Bonta uzsvēra daudzus gadījumus, kuros xAI pārveidoja parastās, apģērbētās fotogrāfijas ar sievietēm un bērniem par seksuāli atklātām vai "nejaukušām" attēlēm bez piekrišanas, pārkāpjot valsts likumus, tostarp nesen ieviesto aizliegumu uz “deepfake” pornogrāfiju. Ņemot vērā xAI nesenās darbības, piemēram, ierobežojot Grok AI izmantošanu reģionos, kur ir aizliegts ģenerēt bikini attēlus, Bonta gan jautāja, cik efektīvi ir šie pasākumi. Bonta vēstule sekoja paziņojumam par izmeklēšanu par to, vai xAI un tā sociālā platforma X pārkāpj likumus, nodrošinot neatļautas seksuālas attēlu izplatīšanas iespēju caur Grok jauno attēlu rediģēšanas funkciju, kas tika palaista pagājušajā mēnesī. Viņš nosodīja xAI radīto eksplitīvo saturu kā aizskarjošu un uzsvēra nepieciešamību nekavējoties veikt labošanas pasākumus. Kalifornijas iedzīvotāji, kas ir skarti, var ziņot par pārkāpumiem prokuratūras tīmekļa vietnē. XAI vēl nav sniedzis komentārus par izmeklēšanu. Bloomberg pētījumā noskaidrots, ka Grok lietotāji publicēja vairāk neatļautu seksuālu attēlu nekā jebkura cita vietne. Atbildot uz to, Maska sola “sekas” pārkāpējiem, un Grok ir ierobežojis attēlu rediģēšanu maksas lietotājiem. Juridiskie eksperti, tostarp bijušais Losandželosas seksuālo noziegumu prokurors Sem Dorduljans, norāda, ka xAI un X, visticamāk, pārkāpj Kalifornijas AB 621 likumu par deepfake pornogrāfiju. Likumdevējas Rebekas Bauera-Kahāns, kas ir arī likuma autore, uzsvēra, ka likums tieši mērķē uz šādām ļaunprātībām, īpaši manipulācijām ar sieviešu un bērnu attēliem, pārvēršot tos par eksplicitām bildēm, radot smagus psiholoģiskus un reputācijas zaudējumus. Šī izmeklēšana saskan ar globālām bažām, tostarp gubernatora Gavana Niušoma aicinājumiem, regulatoru reakciju Eiropā un Indijā, kā arī X pilnīgu aizliegumu vairākās valstīs. Kamēr Grok lietotņu lejupielādes strauji palielinās, likumdevēji mudina Apple un Google aizliegt šo lietotni. Neskaidrības joprojām ir par Grok izstrādes motīviem un tā reakciju uz kontroversijām, turklāt analītiķi to ierindo starp vismazāk pārredzamajām AI sistēmām. Pierādījumi par kaitējumu no deepfakes pieaug: FBI brīdina par pieaugošiem izspiešanas gadījumiem, kuros iesaistīti jaunieši, kas noved pie paštrauma un pašnāvības; bērnu seksuālas izpūtes materiāli ir atrasti iekļauti AI apmācības datos; aptaujas rāda, ka daudzi vidusskolēni ir saskāruši ar seksuāli atklātām attēliem no vienaudžiem. Bonta izmeklēšana seko iepriekšējiem centieniem aizsargāt nepilngadīgos no kaitīga AI satura, tostarp atbalstot likumdošanu, kas ierobežo čatbotu sarunas ar nepilngadīgajiem par seksuālo materiālu vai pašnāvību, un piedaloties daudzvalstu vēstulēs, kurās tiek prasīts no uzņēmumiem, piemēram, Meta un OpenAI, nodrošināt atbilstošas drošības vadlīnijas saziņai ar nepilngadīgajiem. Kopš 2019.

gada Kalifornija ir pieņēmusi vairākus likumus, kas aizsargā pret deepfakes. AB 621, kas nesen ir spēkā stiprināts, ļauj prokuroriem ierosināt tiesvedību pret uzņēmumiem, kas nekrietni veicina deepfake pornogrāfijas izplatīšanu bez piekrišanas, pat ja nav pierādīts tiešais kaitējums upuriem. Likums paredz kompensāciju līdz 250 000 dolāru un sodus nesankcionētām vietnēm — 25 000 dolāru par katru pārkāpumu, ja tās neievieš izmaiņas 30 dienu laikā. 2024. gada likumi paplašina valsts definīciju par bērnu pornogrāfiju, iekļaujot AI ģenerētus materiālus, kā arī ievieš tūlītējas noņemšanas iespējas sociālajās platformās, uzskatot šādus deepfake attēlus par digitālas identitātes zādzību. Taču likums, kas attur deepfake izmantošanu vēlēšanās, tika spēkā nelikumīgi atcelts pēc tiesas prasības pret X un Masku. Juridiskie eksperti norāda, ka, lai arī jauni likumi sniedz iespējas rīkoties, problēmas joprojām pastāv. Pierādījumu par izplatīšanu ir grūti nodrošināt, jo “nudify” lietotāju grupa bieži vien pazīst viena otru un neizvēlas publiski dalīties ar attēliem. Dorduljans minēja gadījumu, kad auklītei darba devējs radīja manipulētus attēlus no viņas Instagram foto, kas radīja emocionālas traumas, bet viņai trūka skaidru juridisku iespēju reaģēt saskaņā ar deepfake likumiem. Upuri ir ziņojuši par līdzīgām situācijām, kurās vienīgais pārkāpums ir attēla radīšana, bet pats aktus nav regulēts. Aizstāvji, piemēram, Dženifera Gibsona no Psst, kas sniedz bezmaksas juridisku atbalstu AI informētājiem, apgalvo, ka esošie likumi nevienlīdzīgi aizsargā cilvēkus, kas atklāj kaitīgu AI rīcību. Saskaņā ar nesen pieņemto Kalifornijas paziņojuma likumu, tiek aizsargātas tikai katastrofālas situācijas, kas rada masu bojāeju vai milzīgus bojājumus — tas neattiecas uz deepfake saistītu kaitējumu. Ja šis likums būtu plašāks, bijušie X darbinieki, kuri ziņoja, ka Grok ģenerē nelikumīgu seksuālu saturu, būtu varējuši saņemt stiprākas aizsardzības iespējas, ziņojot par pārkāpumiem valsts institūcijām. Kopumā Kalifornija ir līdere deepfake likumdošanā, taču esošie likumi un aizsardzības pasākumi ir nepieciešami paplašināšanai un pilnveidošanai, lai efektīvi risinātu AI radītas seksuālas attēlu manipulācijas izaicinājumus, aizsargātu upurus un veicinātu iekšēju uzņēmumu atbildību.