La comissionada per a la infància a Anglaterra, Dame Rachel de Souza, està instant al govern a prohibir les aplicacions que utilitzen intel·ligència artificial (IA) per crear imatges sexuals explícites de menors. Ha demanat una prohibició total de les aplicacions que permeten la "nudificació", on l’IA edita fotos de persones reals per fer-les semblar nuas, advertint que actualment el govern permet que aquestes aplicacions funcionin sense control, malgrat les greus conseqüències en el món real. Un portaveu del govern va reforçar que el material d’abús sexual infantil és il·legal i va anunciar plans per introduir més infraccions relacionades amb la creació, possessió o distribució d’eines d’IA dissenyades per generar aquest contingut. Els deepfakes—vídeos, imatges o àudios generats per IA que semblen reals—són cada vegada més utilitzats per dirigir-se a noies i joves, amb moltes aplicacions orientades a cossos femenins, segons un informe publicat per Dame Rachel. L’informe destaca que les noies cada vegada eviten més publicar imatges o interactuar en línia per reduir riscos, de manera similar a les mesures de seguretat fora de línia com evitar caminar soles a la nit. Els nens tenen por de ser objectiu de strangers, companys de classe o fins i tot amics a través de tecnologies accessibles a plataformes populars de cerca i xarxes socials. Dame Rachel va destacar l’evolució ràpida i l’abast d’aquestes eines d’IA, que representen perills aclaparadors, i va subratllar la necessitat d’actuar en comptes de permetre que aquestes aplicacions danyin la vida dels nens. Segons la Llei de Seguretat en línia, compartir o amenaçar de compartir imatges sexuals explícites generades per IA és il·legal. El govern va anunciar al febrer una nova legislació per combatre les imatges d’abús sexual infantil generades per IA, incloent la prohibició de posseir, crear o distribuir eines d’IA utilitzades per generar aquest tipus de contingut.

No obstant això, Dame Rachel argumenta que aquestes mesures són insuficients i reclama una prohibició total de les aplicacions de “nudificació”, no només de les que es classifiquen com generadores d’abús sexual infantil. La Internet Watch Foundation (IWF) va informar d’un augment del 380% de casos d’abús sexual infantil generat per IA el 2024 en comparació amb el 2023, amb 245 denuncies aquest any en front de 51 abans. El director general interí de l’IWF, Derek Ray-Hill, va assenyalar que aquestes aplicacions s’estan usant a les escoles, amb imatges que es volen descontrolades ràpidament. Un portaveu del Departament de Ciència, Innovació i Tecnologia va condemnar la creació i distribució de material d’abús sexual infantil generat per IA com a abominable i il·legal, assenyalant que les plataformes han de eliminar aquest contingut sota la Llei de Seguretat en línia o enfrontar-se a multes significatives. Regne Unit és el primer país que introdueix infraccions específiques relacionades amb l’abús sexual infantil generat per IA. Dame Rachel també va instar el govern a imposar obligacions legals als desenvolupadors d’IA per identificar i mitigar els riscos que plantegen als nens, establir processos sistemàtics per eliminar imatges sexuals explícites de menors generades per deepfake de la xarxa, i reconèixer oficialment l’abús sexual mitjançant deepfake com una forma de violència contra dones i nenes. Paul Whiteman, secretari general del sindicat de líders escolars NAHT, va compartir aquestes preocupacions, ressaltant la necessitat urgent de revisar aquest àrea ja que la tecnologia avança més ràpid que les lleis i l’educació actuals. A més, l’Autoritat de Comunicacions (Ofcom) va finalitzar el seu Codi per als Infants, que exigeix a les plataformes que allotgen pornografia i contingut nociu que implementin controls d’edat més robusts o enfrontin multes. No obstant això, Dame Rachel va criticar aquest codi per prioritzar els interessos de negoci de les empreses tecnològiques per sobre de la seguretat dels infants.