İngiltere çocuklar komiseri Dame Rachel de Souza, hükümete çocukların cinsel açıdan müstehcen görüntülerini oluşturmak için yapay zeka (AI) kullanan uygulamaları yasaklama çağrısında bulundu. Gerçek insanların fotoğraflarını AI ile düzenleyerek onları çıplak gösteren "nüdisfikasyon" uygulamalarına tamamen yasak getirilmesini istedi ve hükümetin şu anda bu tür uygulamaların ciddi gerçek dünya sonuçlarına rağmen kontrolsüz şekilde çalışmasına izin verdiğini uyardı. Bir hükümet sözcüsü, çocukların cinsel istismarına yönelik materyallerin yasa dışı olduğunu tekrar etti ve böyle içerikler üretmek, bulundurmak veya dağıtmak amacıyla tasarlanmış AI araçlarının oluşturulmasıyla ilgili suçları genişleten yeni düzenlemelerin getirileceğini açıkladı. Güvenlik güçleri ve hukuk otoriteleriyle birlikte, gerçekten gibi görünen AI tarafından üretilmiş videolar, görseller veya ses klipleri olan deepfake'ler, özellikle kız çocukları ve genç kadınlar hedef alınmakta, Dame Rachel'in yayımladığı rapora göre kadın bedenlerine uygun birçok uygulama var. Rapor, kız çocuklarının riskleri azaltmak için giderek daha fazla görüntü paylaşmaktan veya çevrimiçi etkinliklere katılmaktan kaçındıklarını, bunun da gece yalnız yürümekten kaçınma gibi çevrimdışı güvenlik önlemlerine benzediğini vurguladı. Çocuklar, popüler arama motorları ve sosyal medya platformlarındaki teknolojiler aracılığıyla tanımadıkları kişiler, sınıf arkadaşları veya hatta arkadaşlar tarafından hedef alınma korkusunu taşıyorlar. Dame Rachel, bu yapay zeka araçlarının hızlı evrimi ve büyüklüğünün büyük tehlikeler teşkil ettiğini belirterek, bencilce davranmak yerine harekete geçmenin şart olduğunu vurguladı. Online Güvenlik Yasası kapsamında, müstehcen deepfake görüntülerin paylaşılması veya paylaşma tehdidinde bulunulması yasa dışıdır. Hükümet, Şubat ayında, bu tür içeriklerin üretilmesine, sahip olunmasına veya dağıtılmasına yarayan AI araçlarının kullanımıyla ilgili suçları suç kapsamına almayı öngören yeni yasa tasarısı açıkladı.

Ancak, Dame Rachel bu önlemlerin yetersiz olduğunu, yalnızca çocuklara yönelik cinsel istismar üreticisi olarak sınıflandırılan uygulamaların değil, "nüdisfikasyon" uygulamalarının da tamamen yasaklanmasını talep ediyor. İnternet İzleme Vakfı (IWF), 2024 yılında yapay zeka tarafından üretilmiş çocuk cinsel istismarına ilişkin vakaların 2023’e göre %380 artış gösterdiğini ve bu yıl 245 raporun kayda geçtiğini bildirdi; önceki yıllarda ise bu sayı 51 idi. IWF’nin geçici Genel Müdürü Derek Ray-Hill, bu uygulamaların okullarda da kötüye kullanıldığını ve görüntülerin hızla kontrolden çıktığını belirtti. Bilim, İnovasyon ve Teknoloji Bakanlığı sözcüsü, yapay zeka ile üretilmiş çocuklara yönelik cinsel istismar materyallerinin oluşturulması ve dağıtılmasını kınadı ve yasa gereği platformların böyle içerikleri kaldırması gerektiğini, aksi takdirde ciddi para cezalarıyla karşılaşacaklarını ifade etti. Birleşik Krallık, yapay zeka ile ilgili çocuklara yönelik cinsel istismar suçlarını tanımlayan özel düzenlemeleri ilk kez uygulamaya koyan ülke oldu. Dame Rachel, hükümetten ayrıca AI geliştiricilerinin çocuklara yönelik riskleri tanımlama ve azaltma konusunda yasal yükümlülükler üstlenmesini, internetten cinsel içerikli deepfake görüntülerinin sistematik şekilde kaldırılması için süreçler oluşturmasını ve deepfake cinsel istismarın kadınlara ve kız çocuklarına karşı bir şiddet biçimi olarak resmi olarak tanınmasını talep etti. NAHT okul liderleri sendikası genel sekreteri Paul Whiteman da bu konudaki endişeleri paylaştı, teknolojinin mevcut yasaları ve eğitimi aşmaya başladığını belirterek, bu alanın acilen gözden geçirilmesi gerektiğine dikkat çekti. Ayrıca medya denetleyicisi Ofcom, çocuklara yönelik içeriklerin bulunduğu platformların daha güçlü yaş doğrulama sistemlerini kullanmasını zorunlu kılan ve para cezası ile karşılaşabilecekleri yeni Bir Çocuklar Kodu’nu tamamladı. Ancak Dame Rachel, bu kodu, teknoloji şirketlerinin ticari çıkarlarını çocukların güvenliğinden üstün tutması nedeniyle eleştirdi.