Advocaat-generaal van Californië Rob Bonta heeft een cease and desist-brief gestuurd naar xAI, het bedrijf van Elon Musk, waarin wordt geëist dat ze stoppen met het maken en verspreiden van niet-toestemming-geteste seksuele afbeeldingen. Bonta benadrukte diverse gevallen waarin xAI gewone, geklede foto’s van vrouwen en kinderen had omgezet in seksueel expliciete of ‘naakt’ afgebeelde beelden zonder toestemming, wat in strijd is met de staatswetten, waaronder een recente verboden op ‘deepfake’ porno. Hoewel hij de recente acties van xAI erkende, zoals het beperken van het gebruik van Grok AI in regio’s waar het genereren van bikini-afbeeldingen illegaal is, stelde Bonta vraagtekens bij de effectiviteit van deze maatregelen. Bonta’s brief volgde op de aankondiging van een onderzoek naar de vraag of xAI en het sociale platform X de wetten hadden overtreden door niet-toestemming-geteste seksuele afbeeldingen te verspreiden via Grok’s nieuwe beeldbewerkingsfunctie die vorige maand werd gelanceerd. Hij veroordeelde de toename van expliciete inhoud die door xAI werd geproduceerd als intimidatie en drong aan op onmiddellijke corrigerende stappen. Californiërs die overtredingen willen melden, kunnen dit doen via de website van de procureur-generaal. xAI heeft nog geen commentaar gegeven op het onderzoek. Onderzoek van Bloomberg wees uit dat gebruikers van Grok meer niet-toestemming-geteste seksuele afbeeldingen plaatsten dan op enige andere website. Musk beloofde hierop “gevolgen” voor overtreders, en Grok beperkte het bewerken van afbeeldingen tot betalende gebruikers. Juridische experts, waaronder voormalig LA-advocaat voor seksueel misdrijven Sam Dordulian, zeggen dat xAI en X waarschijnlijk de California’s AB 621 wet op deepfake-pornografie overtreden. Vergaderlid Rebecca Bauer-Kahan, de auteur van de wet, benadrukte dat de wet precies deze vormen van misbruik aanpakt, vooral het manipuleren van beelden van vrouwen en kinderen om ze expliciete inhoud te maken, wat ernstige psychologische en reputatieschade kan veroorzaken. Dit onderzoek sluit aan bij bredere wereldwijde zorgen, waaronder oproepen van gouverneur Gavin Newsom, regelgevende reacties in de EU en India, en outright verboden op X in verschillende landen. Nu het aantal downloads van de Grok-app toeneemt, vragen wetgevers aan Apple en Google om de app te verbieden. De motivatie achter het ontwerp van Grok en de reactie op de controverse blijven onduidelijk, terwijl analyses het noemen als een van de minst transparante AI-systemen. Bewijs voor de schade door deepfakes stapelt zich op: de FBI waarschuwt voor toenemende gerechtelijke stappen tegen chantage waarbij jongeren zelfbeschadiging en zelfmoord zouden kunnen veroorzaken; materiaal van seksueel misbruik van kinderen is gevonden in AI-trainingsgegevens; en onderzoeken tonen dat veel middelbare scholieren seksueel expliciete beelden van leeftijdsgenoten zijn tegengekomen.

Het onderzoek van Bonta volgt op eerdere inspanningen om minderjarigen te beschermen tegen schadelijke AI-inhoud, waaronder het ondersteunen van wetgeving die chatbots verbiedt om seksueel expliciete of zelfverwondende gesprekken te voeren met minderjarigen, en het aansluiten bij multistatenbrieven waarin bedrijven als Meta en OpenAI worden onder druk gezet vanwege ongepaste interacties met minderjarigen. Sinds 2019 heeft Californië meerdere wetten ingevoerd ter bescherming van personen tegen deepfakes. AB 621, onlangs versterkt, stelt dat aanklagers bedrijven kunnen aanklagen die roekeloos bijdragen aan de verspreiding van deepfake-pornografie zonder toestemming, zelfs zonder bewijs van daadwerkelijke schade voor slachtoffers. De wet verhoogt de mogelijke schadevergoeding tot $250. 000 en legt websites die niet voldoen een boete van $25. 000 per overtreding op indien zij binnen 30 dagen niet handelen. Kritieke nieuwe wetten voor 2024 breiden de definitie van kinderporno uit tot AI-gegenereerde materialen en vereisen snelle verwijderingsopties op sociale media, waarbij deepfakes worden beschouwd als digitale identiteitsdiefstal. Een wet die deepfakes in verkiezingen wilde beperken, werd echter vernietigd na een rechtszaak door X en Musk. Juridische experts wijzen erop dat hoewel nieuwe wetten mogelijkheden voor herstel bieden, er nog steeds uitdagingen bestaan. Bewijs van verspreiding, vaak vereist voor veel bescherming, kan moeilijk zijn omdat gebruikers van “nudify”-apps elkaar vaak kennen en beelden niet breed delen. Dordulian benadrukte bijvoorbeeld een zaak van een nanny wiens werkgever gemanipuleerde beelden van haar Instagram-foto’s had gemaakt die emotionele trauma’s veroorzaakten, maar waar geen duidelijke juridische mogelijkheid was om dit aan te pakken onder de deepfake-wet. Slachtoffers melden soortgelijke hiaten, waarbij alleen het maken al niet gereguleerd is. Voorstanders zoals Jennifer Gibson van Psst, een organisatie die gratis juridische ondersteuning biedt aan AI-klokkenluiders, stellen dat bestaande wetten tekortschieten in het beschermen van insiders die schadelijke AI-praktijken aan het licht brengen. Een recente Californië-achtige klokkenluiderswet bestrijkt alleen rampzalige risico’s die massale dood of schade veroorzaken, en sluit deepfake-gerelateerde schade uit. Als deze wet breder was geweest, hadden ex-medewerkers van X die hadden gemeld dat Grok illegale seksuele inhoud genereerde mogelijk sterkere bescherming gehad bij het melden van misstanden aan autoriteiten. Samengevat: Californië loopt voorop in de wetgeving rond deepfakes, maar de huidige wetten en beschermingen moeten worden uitgebreid en verbeterd om effectief in te spelen op de groeiende risico’s van AI-gedreven manipulatie van seksuele beelden, slachtoffers te beschermen en interne aansprakelijkheid te stimuleren.