Segons un vigilant de seguretat, la prevalença d'imatges d'abús sexual infantil generades a través d'eines d'intel·ligència artificial està augmentant a internet oberta, arribant al que es descriu com un "punt d'inflexió. " La Internet Watch Foundation (IWF) va informar que la quantitat de contingut il·legal creat per AI descobert en línia en els últims sis mesos ja ha superat el total observat en tot l'any anterior. La major part d'aquest material es va identificar en àrees accessibles al públic a internet en lloc de a la web fosca, la qual requereix navegadors especialitzats per accedir-hi. Derek Ray-Hill, conseller delegat provisional de l'IWF, va assenyalar que la sofisticació de les imatges suggereix que les eines de IA es van entrenar utilitzant imatges i vídeos de víctimes reals. “Els recents mesos indiquen que aquest problema no està disminuint, sinó que, de fet, està empitjorant, ” va declarar. Un analista de l'IWF va destacar que la situació al voltant del contingut generat per IA està arribant a un punt crític on les organitzacions de seguretat i la llei no estan segures si una imatge mostra un nen real en perill. En els sis mesos abans de setembre d'aquest any, l'IWF va tractar 74 casos de material d'abús sexual infantil generat per IA (CSAM) que eren prou realistes com per violar la llei del Regne Unit, en contrast amb 70 casos en l'any anterior. És important destacar que un únic informe pot referir-se a nombroses imatges trobades en una pàgina web. A més, l'IWF ha observat no només imatges d'IA amb víctimes reals d'abús sinó també vídeos de "deepfake" que manipulen pornografia adulta per simular CSAM. L'organització va informar anteriorment que la IA es va utilitzar per crear imatges de celebritats representades com a nens en contextos d'abús sexual.

Altres exemples inclouen imatges generades per IA on les imatges de nens vestits a internet han estat alterades per aparèixer nus. Més del 50% del contingut generat per IA assenyalat per l'IWF en els últims sis mesos es va allotjar en servidors situats a Rússia i els EUA, amb el Japó i els Països Baixos també allotjant quantitats notables. L'IWF compila una llista d'URLs associades amb aquestes imatges, la qual es comparteix amb la indústria tecnològica per facilitar el bloqueig i fer-ho inaccessible. L'IWF va assenyalar que el 80% dels informes sobre imatges il·legals generades per IA provenien de membres del públic que les trobaven a fòrums públics o galeries d'IA. En resposta al problema de la sextorsió, on els usuaris són enganyats per compartir imatges íntimes amb criminals que es fan passar per dones joves, Instagram ha introduït noves mesures. La plataforma implementarà una funció que enfosqueix les imatges de nus rebudes en missatges directes, avisant els usuaris de tenir precaució abans d'enviar qualsevol DM que contingui aquest contingut. Quan es rebi una imatge borrosa, l'usuari pot decidir si descarregar-la i rebrà un recordatori que pot bloquejar l'emissor o informar de la conversa a Instagram. Aquesta funció s'activarà automàticament per a comptes d'adolescents arreu del món a partir d'aquesta setmana i es pot aplicar a missatges encriptats, encara que les imatges assenyalades per l'eina de "detecció al dispositiu" no es reportaran automàticament a la plataforma o a les forces de l'ordre.