加利福尼亚州总检察长罗布·邦塔（Rob Bonta）已向xAI公司，亦即埃隆·马斯克（Elon Musk）的公司，发出停业令，要求其停止制作和传播非自愿性图片。邦塔指出，多起案件显示，xAI将普通的带衣女性和儿童照片转化为带有性暗示或“未穿衣”画面，未获当事人同意，违反了州法律，包括近期的“深度伪造”色情禁止令。尽管提及了xAI的近期措施，如限制Grok AI在生成比基尼图片违法地区的使用，邦塔质疑这些措施的有效性。 邦塔的信件是在宣布对xAI及其社交平台X是否通过上月推出的新图像编辑功能，促使非自愿性图片传播的行为违反法律展开调查后发出的。他谴责xAI产生的非法内容泛滥，认为这些内容具有骚扰性质，呼吁立即采取整改措施。受到影响的加州居民可通过总检察长网站举报违法行为。xAI尚未对此调查作出评论。 彭博社的研究发现，Grok用户上传的非自愿性色情图片数量高居所有网站之首。对此，马斯克承诺“对违规者采取后果”，并限制Grok的付费用户使用图片编辑功能。法律专家，包括前洛杉矶性犯罪律师山姆·多杜利安（Sam Dordulian），表示xAI和X平台可能违反了加州AB 621号深度伪造色情法律。该法案的作者丽贝卡·鲍尔-卡汉（Rebecca Bauer-Kahan）强调，该法律正是针对这些滥用行为，特别是对女性和儿童的影像进行 Manipulation以制造露骨内容，造成严重的心理和声誉伤害。 此次调查与全球更广泛的关注相呼应，包括州长加文·纽瑟姆（Gavin Newsom）的呼吁、欧盟和印度的监管反弹，以及多个国家对X平台的全面禁令。随着Grok应用的下载量激增，部分立法者敦促苹果和谷歌禁止该应用。Grok的设计初衷及其对争议的回应尚不清楚，一些分析将其列为透明度最低的人工智能系统之一。 深度伪造带来的伤害证据不断积累：联邦调查局（FBI）警告称，涉及年轻人的敲诈勒索案件日益增加，导致自残和自杀；AI训练数据中发现有儿童性虐待内容；调查显示，许多高中生遇到过同龄人的露骨图片。邦塔的调查是在此前努力保护未成年人免受有害AI内容影响的基础上展开的，包括支持限制聊天机器人与未成年人进行色情或自残话题的立法，以及加入多州联名信，向Facebook母公司Meta和OpenAI等公司施压，要求管理不当的与未成年人的聊天机器人交互行为。 自2019年以来，加州制定了多项法律，保护个人免受深度伪造的侵害。最近加强的AB 621号法律允许检察官起诉那些鲁莽协助传播未获同意的深度伪造色情内容的公司，即使未能证明受害者受到实际伤害。若网站未在30天内采取措施，潜在赔偿金最高可达25万美元，违规网站每日罚款2. 5万美元。此外，2024年的相关法律将儿童色情定义扩展到人工智能生成的材料，并强制要求社交媒体平台提供迅速删除的选项，将这类深度伪造内容视为数字身份盗窃。然而，一项限制选举中使用深度伪造的法律被X和马斯克对其提起的诉讼推翻。 法律专家指出，尽管新法律为受害者提供了更多救济途径，但仍面临挑战。许多“nudify”应用的用户彼此熟识，不广泛分享图片，使得证明传播行为变得困难。多杜利安提到，一起保姆被雇主利用其Instagram照片制作伪造图片、引发情感创伤的案件，因缺乏明确的深度伪造法律途径，难以维权。受害者还反映类似问题，即“创作行为”本身并未受到充分监管。 倡导者，如Psst的詹妮弗·吉布森（Jennifer Gibson），为揭露有害AI实践的吹哨人提供免费法律支持，指出现有法律难以保护内部人士。加州最新的吹哨人法律只涵盖造成大规模死亡或损失的灾难性风险，不涉及深度伪造相关的伤害。如果这项法律更加宽泛，曾向当局举报Grok生成非法性内容的前X员工可能会获得更有力的保护。 总之，加州在深度伪造法律方面走在前列，但现有法律和保护措施还需扩展和改善，以有效应对由AI驱动的性图片操控带来的不断变化的风险，保护受害者，并促进内部责任追究。