Muah. AI est une plateforme qui permet aux utilisateurs de créer des chatbots IA en tant qu'amies virtuelles, permettant des conversations textuelles, vocales et le partage d'images. Près de 2 millions d'utilisateurs sont enregistrés sur le site, qui prétend offrir une technologie "non censurée". Cependant, des rapports récents indiquent que certaines personnes pourraient utiliser la plateforme pour générer du matériel d'abus sexuel d'enfants (CSAM). Le journaliste d'investigation Joseph Cox de 404 Media a révélé qu'un hacker anonyme a divulgué des données inquiétantes de Muah. AI, montrant des invites impliquant du contenu explicite lié à des mineurs, y compris des demandes alarmantes spécifiant des nouveau-nés. Contrairement aux grandes plateformes IA comme ChatGPT qui appliquent des filtres de contenu stricts, des services plus petits comme Muah. AI semblent avoir moins de protections. Troy Hunt, un expert en sécurité qui a examiné les données divulguées, a découvert de nombreuses demandes pour CSAM, avec des recherches de termes comme "13 ans" donnant plus de 30 000 résultats. Hunt a noté que certains utilisateurs révélaient leur identité sans apparente inquiétude, soulevant des questions sur la prévalence de ce contenu perturbant sur les sites grand public. Dans une conversation à propos du piratage, un représentant de Muah. AI a reconnu la violation mais a contesté les affirmations concernant le volume d'invites abusives, arguant qu'un pourcentage aussi élevé d'utilisateurs ne pourrait pas être engagé dans la pédophilie.

Le personnel, limité à moins de cinq membres, manque de ressources adéquates pour surveiller l'activité des utilisateurs, bien qu'ils aient mis en place certaines mesures de filtrage qui ont été critiquées par les utilisateurs pour être trop restrictives. Alors que Han, représentant Muah. AI, a exprimé l'intention d'améliorer la surveillance, il a admis que l'entreprise ne vérifie pas activement si CSAM est généré. Il a suggéré que les demandes de telles images pourraient provenir d'utilisateurs en deuil de la perte d'êtres chers, bien qu'il ait reconnu que certains utilisateurs pourraient contourner les filtres. La discussion a souligné des préoccupations plus larges concernant l'existence et la réglementation des plateformes IA qui pourraient faciliter l'abus involontairement. Han a plaidé pour la liberté d'expression en technologie, comparant son service à des entreprises comme Google, qui fournissent un traitement sans supervision directe du contenu. Les ambiguïtés juridiques concernant les images générées par l'IA, en particulier le CSAM, restent controversées, surtout après les décisions passées de la Cour suprême. L'existence de plateformes comme Muah. AI révèle des problèmes importants dans le domaine de l'IA générative, suggérant que la création de matériel d'exploitation est un problème croissant difficile à contrôler ou à éliminer, avec des préoccupations concernant l'utilisation abusive de ces technologies susceptibles de continuer.