A biztonsági őr szerint az MI-eszközök által generált gyermekbántalmazási képek jelenléte növekszik a nyílt interneten, elérve azt, amit 'fordulópontnak' neveznek. Az Internet Watch Foundation (IWF) jelentette, hogy az elmúlt hat hónapban online felfedezett, MI által létrehozott illegális tartalmak mennyisége már meghaladta az előző év teljes mennyiségét. A legtöbb ilyen anyagot a nyilvánosan hozzáférhető internet területein azonosították, nem pedig a sötét weben, amelyhez speciális böngészőkre van szükség a hozzáféréshez. Derek Ray-Hill, az IWF megbízott ügyvezető igazgatója megjegyezte, hogy a képek kifinomultsága azt sugallja, hogy az MI-eszközöket valós áldozatok képeivel és videóival képezték. 'A közelmúlt hónapjai azt jelzik, hogy ez a kérdés nem csökken, hanem valójában súlyosbodik, ' állította. Egy IWF elemző kiemelte, hogy az MI által generált tartalmak körüli helyzet olyan kritikus ponthoz érkezik, ahol a biztonsági szervezetek és a bűnüldözés bizonytalan, hogy egy kép valós gyermeket ábrázol-e bajban. Az idei szeptember előtti hat hónap során az IWF 74 olyan esetet kezelt, ahol az MI által generált gyermekbántalmazási anyag (CSAM) volt elég életszerű ahhoz, hogy megsértse az Egyesült Királyság törvényeit, szemben az előző év 70 esetével. Fontos megjegyezni, hogy egyetlen jelentés több, egy weboldalon található képre is utalhat. Emellett az IWF nemcsak valós bántalmazási áldozatokat ábrázoló MI-képeket figyelt meg, hanem olyan 'mélyhamisított' videókat is, amelyek felnőtt pornográfiát manipulálnak a CSAM szimulálására. A szervezet korábban arról számolt be, hogy celebekről készült képeket használtak az MI segítségével gyerekekként ábrázolva szexuális bántalmazási kontextusban.

További példák között szerepelnek olyan MI által generált képek, ahol az interneten megtalálható, ruhás gyermekek képeit úgy módosították, hogy mezteleneknek tűnjenek. Az IWF által az elmúlt hat hónapban jelzett MI által generált tartalmak több mint 50%-át Oroszországban és az Egyesült Államokban található szervereken tárolták, Japán és Hollandia is jelentős mennyiséggel járult hozzá. Az IWF összeállít egy URL-ek listáját, amelyek társítva vannak ezzel a képekkel, amelyet aztán megosztanak a technológiai iparággal a blokkolás elősegítése és a hozzáférhetetlenné tétel érdekében. Az IWF megjegyezte, hogy az illegális MI által generált képekkel kapcsolatos jelentések 80%-a a nyilvánosság tagjaitól érkezett, akik nyilvános fórumokon vagy MI galériákban találták meg őket. A szextorzió kérdésére reagálva, amely során a felhasználókat arra veszik rá, hogy intim képeket osszanak meg bűnözőkkel, akik fiatal nőket megszemélyesítenek, az Instagram új intézkedéseket vezet be. A platform bevezet egy funkciót, amely elhomályosítja a közvetlen üzenetekben fogadott meztelen képeket, figyelmeztetve a felhasználókat, hogy óvakodjanak mielőtt bármilyen efféle tartalmat küldenének. Amikor homályosított képet fogadnak, a felhasználó eldöntheti, hogy megtekinti-e, és emlékeztetőt kap, hogy blokkolhatja a küldőt vagy jelentheti a beszélgetést az Instagramnak. Ez a funkció a héttől kezdődően automatikusan engedélyezve lesz a tinédzsereket kiszolgáló fiókok számára világszerte, és alkalmazható titkosított üzenetek esetén is, bár az 'eszközön való észlelés' eszköz által jelzett képeket nem fogják automatikusan jelenteni a platformnak vagy a bűnüldözésnek.