Volgens een veiligheidswaakhond neemt de prevalentie van kindermisbruikbeelden die zijn gegenereerd door middel van kunstmatige intelligentietools toe op het open internet, waarbij wordt gesproken van een 'kantelpunt'. De Internet Watch Foundation (IWF) meldde dat de hoeveelheid door AI gecreëerde illegale inhoud die online in de afgelopen zes maanden is ontdekt, de totale hoeveelheid van het voorgaande jaar al heeft overtroffen. Het merendeel van dit materiaal werd geïdentificeerd in openbaar toegankelijke delen van het internet, in plaats van op het dark web, dat gespecialiseerde browsers vereist voor toegang. Derek Ray-Hill, interim-hoofd van de IWF, merkte op dat de verfijning van de beelden suggereert dat de AI-tools zijn getraind met behulp van beelden en video's van echte slachtoffers. 'De recente maanden duiden erop dat dit probleem niet afneemt, maar juist verergert', verklaarde hij. Een analist van de IWF benadrukte dat de situatie rond AI-gegenereerde inhoud een kritiek punt bereikt waar veiligheidsorganisaties en wetshandhavers onzeker zijn of een afbeelding een echt kind in nood toont. In de zes maanden voorafgaand aan september van dit jaar heeft de IWF 74 gevallen aangepakt van AI-gegenereerd seksueel kindermisbruikmateriaal dat realistisch genoeg was om de Britse wet te overtreden, vergeleken met 70 gevallen in het voorgaande jaar. Het is belangrijk op te merken dat een enkel rapport kan verwijzen naar talloze afbeeldingen die op een webpagina zijn gevonden. Daarnaast heeft de IWF niet alleen AI-afbeeldingen van daadwerkelijke slachtoffers van misbruik geconstateerd, maar ook 'deepfake'-video's die volwassen pornografie manipuleren om CSAM te simuleren. De organisatie meldde eerder dat AI werd gebruikt om afbeeldingen van beroemdheden te creëren die als kinderen in misbruikcontexten worden gepresenteerd.

Andere voorbeelden zijn AI-gegenereerde afbeeldingen waarbij foto's van geklede kinderen op het internet zijn aangepast om naakt te lijken. Meer dan 50% van de door de IWF gemarkeerde AI-gegenereerde inhoud in de afgelopen zes maanden werd gehost op servers in Rusland en de VS, waarbij ook in Japan en Nederland aanzienlijke hoeveelheden werden gehost. De IWF stelt een lijst samen van URL's die aan deze beelden zijn gekoppeld, die vervolgens wordt gedeeld met de technologie-industrie om blokkering te vergemakkelijken en de toegang onmogelijk te maken. De IWF merkte op dat 80% van de meldingen over illegale AI-gegenereerde beelden afkomstig was van leden van het publiek die deze vonden op openbare forums of AI-galerijen. In reactie op het probleem van sextortion, waarbij gebruikers worden misleid om intieme beelden te delen met criminelen die zich voordoen als jonge vrouwen, heeft Instagram nieuwe maatregelen geïntroduceerd. Het platform zal een functie implementeren die naakte afbeeldingen in directe berichten wazig maakt, waarbij gebruikers worden geadviseerd voorzichtig te zijn voordat ze een DM verzenden met dergelijke inhoud. Wanneer een wazige afbeelding wordt ontvangen, kan de gebruiker beslissen of hij deze wil bekijken en krijgt hij een herinnering dat hij de afzender kan blokkeren of het gesprek kan melden bij Instagram. Deze functie zal automatisch worden ingeschakeld voor tieneraccounts wereldwijd vanaf deze week en kan worden toegepast op versleutelde berichten, hoewel afbeeldingen die door het 'apparaatdetectie'-hulpmiddel zijn gemarkeerd niet automatisch aan het platform of aan wetshandhavers worden gerapporteerd.