Muah. AI er en platform, der giver brugere mulighed for at oprette AI-chatbots som virtuelle kærester, hvilket muliggør tekst-, stemmekonversationer og billeddeling. Næsten 2 millioner brugere er registreret på siden, som hævder at tilbyde "ucensureret" teknologi. Imidlertid indikerer nylige rapporter, at nogle individer kan bruge platformen til at generere materiale om seksuelt misbrug af børn (CSAM). Undersøgende journalist Joseph Cox fra 404 Media afslørede, at en anonym hacker lækkede foruroligende data fra Muah. AI, der viser anmodninger, der involverer eksplicit indhold relateret til mindreårige, herunder alarmerende forespørgsler, der specificerer nyfødte. I modsætning til større AI-platforme som ChatGPT, der implementerer strenge indholdsfiltre, ser mindre tjenester som Muah. AI ud til at have færre sikkerhedsforanstaltninger. Troy Hunt, en sikkerhedsekspert, der gennemgik de lækkede data, opdagede adskillige forespørgsler efter CSAM, hvor søgninger på termer som "13-årig" gav over 30. 000 resultater. Hunt bemærkede, at nogle brugere afslørede deres identiteter uden tilsyneladende bekymring, hvilket rejser spørgsmål om udbredelsen af ​​sådan foruroligende indhold på mainstream-sider. I en samtale om hacket, erkendte en repræsentant for Muah. AI bruddet, men bestridte påstandene om mængden af ​​misbrugende forespørgsler og argumenterede for, at en så høj procentdel af brugerne ikke kunne være engageret i pædofili.

Personalet, der begrænser sig til færre end fem medlemmer, mangler tilstrækkelige ressourcer til at overvåge brugeraktivitet, selvom de har implementeret nogle filter tiltag, der blev kritiseret af brugerne for at være overdrevent restriktive. Mens Han, der repræsenterer Muah. AI, udtrykte en intention om at forbedre overvågningen, indrømmede han, at virksomheden ikke aktivt verificerer, om CSAM genereres. Han foreslog, at anmodninger om sådanne billeder måske stammer fra brugere, der sørger over tabet af kære, selvom han erkendte, at nogle brugere kunne omgå filtrene. Diskussionen fremhævede bredere bekymringer omkring eksistensen og reguleringen af ​​AI-platforme, der ufrivilligt kan facilitere misbrug. Han argumenterede for ytringsfrihed inden for teknologi, idet han sammenlignede sin tjeneste med virksomheder som Google, der leverer behandling uden direkte tilsyn med indhold. Juridiske uklarheder omkring AI-genereret billedmateriale, især CSAM, forbliver omstridte, især efter tidligere højesteretsafgørelser. Eksistensen af ​​platforme som Muah. AI afslører betydelige problemer inden for den generative AI-verden og antyder, at skabelsen af ​​udnyttende materiale er et voksende problem, der er svært at kontrollere eller eliminere, med bekymringer om misbrug af sådanne teknologier sandsynligvis at fortsætte.