Σύμφωνα με οργανισμό παρακολούθησης ασφαλείας, η επικράτηση της απεικόνισης παιδικής σεξουαλικής κακοποίησης που παράγεται μέσω εργαλείων τεχνητής νοημοσύνης αυξάνεται στο ανοικτό διαδίκτυο, φτάνοντας σε ένα σημείο που περιγράφεται ως 'σημείο καμπής. ' Το Internet Watch Foundation (IWF) ανέφερε ότι η ποσότητα παράνομου περιεχομένου που δημιουργήθηκε από AI που ανακαλύφθηκε στο διαδίκτυο τους τελευταίους έξι μήνες έχει ήδη ξεπεράσει το σύνολο που παρατηρήθηκε το προηγούμενο έτος. Το μεγαλύτερο μέρος αυτού του υλικού αναγνωρίστηκε σε δημοσίως προσβάσιμες περιοχές του διαδικτύου, αντί στην σκοτεινή πλευρά του διαδικτύου, που απαιτεί ειδικά προγράμματα περιήγησης για να προσπελαστούν. Ο Derek Ray-Hill, ο προσωρινός διευθύνων σύμβουλος του IWF, σημείωσε ότι η πολυπλοκότητα των εικόνων δείχνει ότι τα εργαλεία AI εκπαιδεύτηκαν με εικόνες και βίντεο πραγματικών θυμάτων. 'Οι πρόσφατοι μήνες δείχνουν ότι αυτό το ζήτημα δεν μειώνεται αλλά αντίθετα επιδεινώνεται, ' δήλωσε. Ένας αναλυτής του IWF υπογράμμισε ότι η κατάσταση που περιβάλλει το περιεχόμενο που παράγεται από AI φτάνει σε κρίσιμη καμπή, όπου οι οργανισμοί ασφαλείας και η αστυνομία δεν είναι σίγουροι εάν μια εικόνα απεικονίζει ένα πραγματικό παιδί σε ανάγκη. Στους έξι μήνες που προηγήθηκαν του Σεπτεμβρίου φέτος, το IWF ασχολήθηκε με 74 περιπτώσεις υλικού παιδικής σεξουαλικής κακοποίησης που δημιουργήθηκε από AI (CSAM) που ήταν αρκετά ρεαλιστικό για να παραβιάσει τη βρετανική νομοθεσία, σε αντίθεση με 70 περιπτώσεις το προηγούμενο έτος. Σημαντικό είναι να σημειωθεί ότι μια μεμονωμένη αναφορά μπορεί να αναφέρεται σε πολλές εικόνες που βρέθηκαν σε μια ιστοσελίδα. Επιπλέον, το IWF έχει παρατηρήσει όχι μόνο AI εικόνες που εμφανίζουν πραγματικούς θύματα κακοποίησης αλλά και 'deepfake' βίντεο που χειραγωγούν την πορνογραφία ενηλίκων για να μιμούνται CSAM. Η οργάνωση ανέφερε προηγουμένως ότι η AI χρησιμοποιήθηκε για να δημιουργήσει εικόνες διασημοτήτων που απεικονίζονται ως παιδιά σε σεξουαλικά παραβατικά πλαίσια.

Άλλα παραδείγματα περιλαμβάνουν AI-δημιουργημένες εικόνες όπου φωτογραφίες ντυμένων παιδιών στο διαδίκτυο έχουν τροποποιηθεί ώστε να εμφανίζονται γυμνές. Πάνω από το 50% του περιεχομένου που δημιουργήθηκε από AI και σημειώθηκε από το IWF τους τελευταίους έξι μήνες φιλοξενήθηκε σε διακομιστές που βρίσκονται στη Ρωσία και τις ΗΠΑ, με την Ιαπωνία και την Ολλανδία να φιλοξενούν επίσης αξιοσημείωτες ποσότητες. Το IWF συγκεντρώνει μια λίστα με URL που σχετίζονται με αυτό το περιεχόμενο, οποία στη συνέχεια μοιράζεται με τη βιομηχανία τεχνολογίας για να διευκολύνει το μπλοκάρισμα και την καθιστώ την προσβάσιμη. Το IWF σημείωσε ότι το 80% των αναφορών που αφορούν παράνομες εικόνες που δημιουργούνται από AI προήλθαν από μέλη του κοινού που τις βρήκαν σε δημόσια φόρουμ ή γκαλερί AI. Σε απάντηση στο θέμα της σεξουαλικής εκβίασης, όπου χρήστες παραπλανούνται να μοιραστούν προσωπικές εικόνες με εγκληματίες που μιμούνται νέες γυναίκες, το Instagram έχει εισάγει νέα μέτρα. Η πλατφόρμα θα εφαρμόσει μια δυνατότητα που θολώνει γυμνές εικόνες που λαμβάνονται σε απευθείας μηνύματα, ενημερώνοντας τους χρήστες να είναι προσεκτικοί πριν στείλουν οποιοδήποτε DM που περιέχει τέτοιο περιεχόμενο. Όταν ληφθεί μια θολή εικόνα, ο χρήστης μπορεί να αποφασίσει αν θα τη δει και θα λάβει υπενθύμιση ότι μπορεί να αποκλείσει τον αποστολέα ή να αναφέρει τη συνομιλία στο Instagram. Αυτή η δυνατότητα θα ενεργοποιηθεί αυτόματα για λογαριασμούς εφήβων παγκοσμίως από αυτή την εβδομάδα και μπορεί να εφαρμοστεί στα κρυπτογραφημένα μηνύματα, αν και εικόνες που σημειώνονται από το εργαλείο ανίχνευσης 'on device' δεν θα αναφερθούν αυτόματα στην πλατφόρμα ή τις αρχές.