Samkvæmt öryggisvakthundasamtökum eykst fjöldi myndsköpunar af kynferðislegri misnotkun barna sem er búin til með aðstoð gervigreindartækja á opnu internetinu og nær því sem er lýst sem „vendipunkti. “ Internet Watch Foundation (IWF) hefur greint frá því að fjöldi ólöglegs efnis sem er búið til af AI sem hefur fundist á netinu undanfarna sex mánuði hefur þegar farið fram úr heildarfjölda sem var séður á síðasta ári. Mest af þessu efni var fundið á opinberlega aðgengilegum svæðum á netinu, frekar en á dökka vefnum, sem krefst sérhæfðra vafra til að fá aðgang að. Derek Ray-Hill, bráðabirgðaframkvæmdastjóri IWF, tók fram að fágun myndanna bendir til þess að AI tækjunum var kennt með myndum og myndböndum af raunverulegum fórnarlömbum. „Undanfarnar mánuðir benda til þess að þetta vandamál sé ekki að minnka heldur eykst, “ sagði hann. Greinandi hjá IWF hafði áhyggjur af því að ástandið í kringum efni sem er búið til af AI nái mikilvægu tímabili þar sem öryggissamtök og lögreglan séu ekki vissir um hvort myndin lýsi raunverulegum barni í neyð. Á sex mánuðum fram að september á þessu ári tóku IWF við 74 tilvikum af efni sem er búið til af AI um kynferðislega misnotkun barna (CSAM) sem voru raunhæf nóg fyrir brot á lögum í Bretlandi, í samanburði við 70 tilfelli á fyrra ári. Mikilvægt er að taka fram að ein skýrsla getur átt við um fjölda mynda sem fundust á vefsíðu. Að auki hefur IWF ekki aðeins séð AI myndir sem innihalda raunveruleg fórnarlömb misnotkunar en einnig „deepfake“ myndbönd sem misnóta fullorðinspornó til að herma eftir CSAM. Fyrri skýrsla samtakanna hafði bent á að AI hafi verið notað til að búa til myndir af frægum einstaklingum sýndum sem börn í kynferðislegu misnotkunarsamhengi.

Önnur dæmi eru AI myndir þar sem myndir af klæddum börnum á internetinu hafa verið breytt til að virðast nakin. Meira en 50% af efni sem er búið til af AI og var flaggað af IWF á undanförnum sex mánuðum var vistað á netþjónum staðsettum í Rússlandi og Bandaríkjunum, með Japan og Hollandi sem veittu einnig verulegt magn. IWF býr til lista yfir URLs sem tengjast þessu efni, sem er síðan deilt með tækniiðnaðinum til að auðvelda að loka og gera það óaðgengilegt. IWF tók fram að 80% af skýrslum sem varða ólöglegt efni sem er búið til af AI kom frá almenningi sem fann það á opinberum vettvangi eða AI galleríum. Í viðbragð við sextortion-vandamálið, þar sem notendur eru blekktir til að deila nándarmyndum með glæpamönnum sem gefa sig út fyrir að vera ungar konur, hefur Instagram tekið upp nýjar ráðstafanir. Vettvangurinn mun innleiða eiginleika sem óskýrir nakin myndir sem berast í beinum skilaboðum og ráðleggur notendum að fara varlega áður en þeir senda hvaða DM sem inniheldur slíkt efni. Þegar óskýr mynd berst getur notandinn ákvað að skoða hana og mun fá áminningu um að þeir geti lokað fyrir sendanda eða tilkynnt samtalið til Instagram. Þessi eiginleiki verður sjálfkrafa virkjaður fyrir unglingsaðganga um allan heim frá og með þessari viku og gæti átt við um dulkóðuð skilaboð, þó að myndir sem eru flaggaðar af „greiningu á tæki“ tólunum verði ekki sjálfkrafa tilkynntar til vettvangsins eða löggæslu.