根据安全观察机构的说法，通过人工智能工具生成的儿童性虐待图像在开放网络上的普及程度正在增加，达到所谓的“临界点”。 互联网观察基金会（IWF）报告称，在过去六个月中在线上发现的AI生成的非法内容数量已经超过了整个上一年度观察到的总量。大多数此类材料是在可以公开访问的网络区域中识别的，而不是在需要使用专用浏览器访问的暗网上识别的。 IWF的临时首席执行官德里克·雷-希尔指出，这些图像的复杂性表明AI工具是使用实际受害者的图像和视频进行了训练。他表示：“最近几个月表明，这个问题并没有减轻，实际上正在恶化。” IWF的一位分析师强调，围绕AI生成内容的情况正在达到一个关键点，安全组织和执法部门不确定某张图像是否显示真正遇险的儿童。 在今年9月前的六个月内，IWF处理了74个AI生成的儿童性虐待材料（CSAM）实例，这些材料逼真到足以违反英国法律，而在前一年仅有70例。需要注意的是，一个报告可能指涉及网页上找到的多张图像。 此外，IWF观察到不仅包括AI图像中实际受到虐待的受害者，还有操控成人色情模拟CSAM的“深度伪造”视频。该组织先前报告称，AI曾被用来创造在性虐待背景下的名人为儿童形象的图像。其他例子包括AI生成的图像，互联网中穿衣儿童的照片被改变为看起来裸体。 过去六个月中，IWF标记的AI生成内容中超过50%托管在俄罗斯和美国的服务器上，日本和荷兰也托管了大量此类内容。IWF会编制与这些图像相关的URLs列表，然后与科技行业分享以便于阻止和使其无法访问。 IWF指出，来自公众的80%的有关非法AI生成图像的报告来自于在公共论坛或AI画廊中找到它们的用户。 作为对色诱问题的回应（用户被骗与冒充年轻女性的罪犯共享私人图像），Instagram已经引入了新措施。该平台将会启用一个功能，以模糊直接消息中接收的裸露图像，提醒用户在发送任何包含此类内容的DM之前谨慎。当收到模糊图像时，用户可以决定是否查看，并会收到提示可以阻止发送者或向Instagram报告对话。 从本周开始，在全球范围内的青少年帐户中，此功能将自动启用，并可以应用于加密信息，尽管由“设备检测”工具标记的图像不会自动报告给平台或执法机构。