영국 아동위원인 레이첼 드 소우사 경은 정부에 아동의 성적 노골적 이미지를 인공 지능(AI)으로 제작하는 앱들을 금지할 것을 촉구하고 있습니다. 그녀는 "누드화"를 가능하게 하는 앱들의 전면 금지를 요구하며, AI가 실제 사람들의 사진을 편집해 나체로 보이게 하는 이른바 '누디파이' 앱들이 현재 규제 없이 운영되고 있다고 경고했습니다. 이러한 앱들은 현실 세계에서도 심각한 결과를 초래할 위험이 크다고 지적했습니다. 정부 대변인은 아동 성착취물은 불법임을 재확인하며, 이러한 콘텐츠를 생성, 소유 또는 배포하는 데 사용되는 AI 도구의 제작, 유통 등을 금지하는 추가 법안을 도입할 계획임을 밝혔습니다. 딥페이크—실제처럼 보이는 AI생성 영상, 사진 또는 음성 클립—이 점차 여성과 소녀들을 대상으로 사용되고 있으며, 많은 앱들이 여성의 몸을 타겟으로 만들어지고 있다고 레이첼 경의 보고서는 전하고 있습니다. 보고서는 소녀들이 위험을 줄이기 위해 이미지를 온라인에 게시하거나 활동하는 것을 점점 피하는 현상도 강조하는데, 이는 밤에 혼자 걷지 않기 등 오프라인 안전 조치와 유사한 행동입니다. 아이들은 낯선 사람이나 또래, 심지어 친구들로부터 기술을 통해 표적이 될까 두려워하고 있습니다. 레이첼 경은 이러한 AI 도구들이 급격히 발전하고 확산됨에 따라 막대한 위험이 따르며, 이들이 아이들의 삶에 피해를 주지 않도록 조치를 취하는 것이 시급하다고 강조했습니다. 온라인 안전법(Online Safety Act)에 따라, 성적 노골적 딥페이크 이미지를 공유하거나 공유 위협하는 행위는 불법입니다.

정부는 2월에 AI를 이용한 아동 성착취 이미지를 단속하기 위한 새로운 법안을 발표하며, 이러한 콘텐츠를 생성, 소유, 배포하는 AI 도구의 사용을 금지하는 조치를 포함시켰습니다. 하지만 레이첼 경은 이러한 조치들이 충분하지 않다고 주장하며, 단순히 아동 성착취 용도로 분류된 앱뿐 아니라 모든 '누드화' 앱 자체를 전면 금지할 것을 촉구하고 있습니다. 인터넷 감시 기구(IWF)는 2024년 AI로 생성된 아동 성착취 사례가 2023년보다 380% 증가했다고 보고했으며, 올해 245건, 이전에는 51건이 이를 기록했습니다. IWF 임시 최고경영자인 데릭 레이-힐은 이러한 앱들이 학교에서도 악용되고 있으며, 관련 이미지들이 빠르게 확산되고 있다고 우려를 표했습니다. 과학혁신기술부(Department for Science, Innovation and Technology)의 대변인은 AI로 생성된 아동 성착취물의 제작과 유통을 혐오스럽고 불법이라 규탄하며, 온라인 안전법에 따라 플랫폼이 이러한 콘텐츠를 삭제하지 않으면 막대한 벌금이 부과될 것이라고 경고했습니다. 영국은 AI와 관련된 아동 성착취 범죄를 구체적으로 규정한 최초의 나라입니다. 레이첼 경은 또 정부에 AI 개발자들이 아동에게 미칠 수 있는 위험을 식별하고 완화하는 법적 의무를 부과하며, 인터넷상에서 아동의 성적 딥페이크 이미지를 제거할 수 있는 체계적인 절차를 마련하며, 딥페이크 성범죄를 여성과 소녀에 대한 폭력의 한 형태로 공식 인정할 것을 요청했습니다. NAHT(교사 연합)의 총무인 폴 와이텀은 이러한 문제들에 대한 긴급한 재점검이 필요하다고 강조하며, 기술이 기존 법률과 교육을 앞서갈 위험이 크다고 우려를 표했습니다. 또한, 미디어 규제기관인 오프콤(Ofcom)은 포르노 및 유해 콘텐츠를 포함하는 플랫폼에 대해 강력한 연령검증 조치를 요구하는 아동용 코드를 확정지었으나, 레이첼 경은 이 코드를 법적 안전보다 기술 기업의 이익에 우선순위를 둔 방식이라고 비판했습니다.