Ifølge et sikkerhedsvagthund øges forekomsten af børneseksuelt misbrug genereret gennem kunstig intelligensværktøjer på det åbne internet og når det, der beskrives som et 'vippepunkt. ' Internet Watch Foundation (IWF) rapporterede, at mængden af AI-skabt ulovligt indhold opdaget online i de sidste seks måneder allerede har overgået det samlede antal observeret i det forrige år. Det meste af dette materiale blev identificeret i offentligt tilgængelige områder af internettet snarere end på dark web, som kræver specialiserede browsere for at få adgang til. Derek Ray-Hill, IWF's midlertidige administrerende direktør, bemærkede, at billedernes sofistikering antyder, at AI-værktøjerne blev trænet ved hjælp af billeder og videoer af faktiske ofre. “De seneste måneder indikerer, at dette problem ikke er ved at mindskes, men faktisk forværres, ” udtalte han. En IWF-analytiker fremhævede, at situationen omkring AI-genereret indhold når et kritisk punkt, hvor sikkerhedsorganisationer og retshåndhævende myndigheder er usikre på, om et billede viser et rigtigt barn i nød. I de seks måneder op til september i år adresserede IWF 74 tilfælde af AI-genereret seksuelt misbrug af børn (CSAM), der var realistiske nok til at overtræde britisk lov, i modsætning til 70 tilfælde over det foregående år. Det er vigtigt at bemærke, at en enkelt rapport kan henvise til adskillige billeder fundet på en webside. Derudover har IWF observeret ikke kun AI-billeder med faktiske misbrugsofre, men også 'deepfake'-videoer, der manipulerer voksenpornografi for at simulere CSAM. Organisationen rapporterede tidligere, at AI blev brugt til at skabe billeder af berømtheder portrætteret som børn i seksuelle misbrugskontekster.

Andre eksempler inkluderer AI-genererede billeder, hvor billeder af påklædte børn på internettet er blevet ændret til at se nøgne ud. Mere end 50% af det AI-genererede indhold markeret af IWF i de sidste seks måneder blev hostet på servere i Rusland og USA, med Japan og Holland, der også hostede betydelige mængder. IWF udarbejder en liste over URL'er forbundet med dette billede, der derefter deles med teknologibranchen for at lette blokering og gøre det utilgængeligt. IWF bemærkede, at 80% af rapporterne vedrørende ulovlige AI-genererede billeder kom fra medlemmer af offentligheden, der fandt dem på offentlige fora eller AI-gallerier. Som svar på spørgsmålet om sextortion, hvor brugere lokkes til at dele intime billeder med kriminelle, der foregiver at være unge kvinder, har Instagram indført nye foranstaltninger. Plattformen vil implementere en funktion, der slører nøgne billeder modtaget i direkte beskeder og advarer brugere om at være forsigtige, før de sender enhver DM, der indeholder sådant indhold. Når et sløret billede modtages, kan brugeren beslutte, om de vil se det og vil modtage en påmindelse om, at de kan blokere afsenderen eller rapportere samtalen til Instagram. Denne funktion vil automatisk blive aktiveret for teenagekonti over hele verden fra denne uge og kan anvendes på krypterede beskeder, selvom billeder markeret af 'on device detection'-værktøjet ikke automatisk rapporteres til platformen eller retshåndhævelsen.