Muah. AI és una plataforma que permet als usuaris crear xatbots d'IA com a núvies virtuals, permetent converses de text, veu i compartir imatges. Gairebé 2 milions d'usuaris estan registrats a la pàgina, que afirma oferir tecnologia 'sense censura'. No obstant això, informes recents indiquen que algunes persones podrien estar utilitzant la plataforma per generar material d'abús sexual infantil (CSAM). El periodista investigador Joseph Cox de 404 Media va revelar que un hacker anònim va filtrar dades preocupants de Muah. AI, mostrant indicacions que involucraven contingut explícit relacionat amb menors, incloent-hi peticions alarmants que especifiquen nounats. A diferència de les plataformes majors d'IA com ChatGPT, que implementen filtres de contingut estrictes, serveis més petits com Muah. AI semblen tenir menys mesures de seguretat. Troy Hunt, un expert en seguretat que va revisar les dades filtrades, va descobrir nombroses peticions per CSAM, amb cerques de termes com '13 anys' obtenint més de 30. 000 resultats. Hunt va notar que alguns usuaris revelaven les seves identitats sense preocupació aparent, plantejant qüestions sobre la prevalença d'aquest tipus de contingut inquietant en llocs comuns. En una conversa sobre la pirateria, un representant de Muah. AI va reconèixer la violació, però va disputar les afirmacions sobre el volum d'indicacions abusives, argumentant que un percentatge tan alt d'usuaris no podria estar involucrat en pedofília.

El personal, limitat a menys de cinc membres, no té recursos adequats per supervisar l'activitat dels usuaris, tot i que han implementat algunes mesures de filtrat que els usuaris van criticar per ser massa restrictives. Mentre que Han, representant de Muah. AI, va expressar la intenció de millorar la supervisió, va admetre que l'empresa no verifica activament si es genera CSAM. Va suggerir que les sol·licituds d'aquestes imatges podrien provenir d'usuaris que ploren la pèrdua de persones estimades, tot i que va reconèixer que alguns usuaris podrien eludir els filtres. La discussió va destacar preocupacions més àmplies sobre l'existència i regulació de plataformes d'IA que podrien facilitar involuntàriament l'abús. Han va argumentar per la llibertat d'expressió en tecnologia, comparant el seu servei amb empreses com Google, que proporcionen processament sense supervisió directa del contingut. Les ambigüitats legals relacionades amb imatges generades per IA, particularment CSAM, continuen sent controvertides, especialment després de sentències passades del Tribunal Suprem. L'existència de plataformes com Muah. AI revela problemes significatius en el terreny de l'IA generativa, suggerint que la creació de material explotador és un problema creixent que és difícil de controlar o eliminar, amb preocupacions sobre l'ús indegut d'aquestes tecnologies probablement continuant.