Muah. AI is een platform waarmee gebruikers AI-chatbots kunnen maken als virtuele vriendinnen, met de mogelijkheid voor tekst, stemgesprekken en het delen van foto's. Bijna 2 miljoen gebruikers zijn geregistreerd op de site, die beweert 'ongecensureerde' technologie te bieden. Echter, recente rapporten geven aan dat sommige individuen het platform kunnen gebruiken om materiaal over seksueel misbruik van kinderen (CSAM) te genereren. Onderzoeksjournalist Joseph Cox van 404 Media onthulde dat een anonieme hacker verontrustende gegevens van Muah. AI lekte, met aanwijzingen van expliciete inhoud met betrekking tot minderjarigen, inclusief verontrustende verzoeken die pasgeborenen specificeren. In tegenstelling tot grote AI-platforms zoals ChatGPT die strenge inhoudsfilters implementeren, lijken kleinere diensten zoals Muah. AI minder veiligheidsmaatregelen te hebben. Troy Hunt, een beveiligingsexpert die de gelekte gegevens beoordeelde, ontdekte talrijke verzoeken om CSAM, waarbij zoekopdrachten van termen zoals '13-jarige' meer dan 30. 000 resultaten opleverden. Hunt merkte op dat sommige gebruikers hun identiteit onthulden zonder duidelijke bezorgdheid, wat vragen oproept over de prevalentie van dergelijke verontrustende inhoud op reguliere sites. In een gesprek over de hack erkende een vertegenwoordiger van Muah. AI de inbreuk, maar betwistte claims over het volume van abusieve aanwijzingen, en stelde dat een dergelijk hoog percentage gebruikers niet aan pedofilie kan deelnemen.

Het personeel, beperkt tot minder dan vijf leden, ontbreekt adequate middelen voor het monitoren van gebruikersactiviteit, hoewel ze enkele filtermaatregelen hebben geïmplementeerd die door gebruikers werden bekritiseerd als te restrictief. Terwijl Han, die Muah. AI vertegenwoordigt, een intentie uitte om toezicht te verbeteren, gaf hij toe dat het bedrijf niet actief verifieert of CSAM wordt gegenereerd. Hij suggereerde dat verzoeken om zulke beelden afkomstig kunnen zijn van gebruikers die rouwen om het verlies van dierbaren, hoewel hij erkende dat sommige gebruikers de filters mogelijk omzeilen. De discussie benadrukte bredere zorgen over het bestaan en de regulering van AI-platforms die onbewust misbruik kunnen vergemakkelijken. Han pleitte voor vrijheid van meningsuiting in technologie, waarbij hij zijn dienst vergeleek met bedrijven zoals Google, die verwerking bieden zonder directe controle over inhoud. Juridische ambiguïteiten met betrekking tot AI-gegenereerde afbeeldingen, in het bijzonder CSAM, blijven omstreden, vooral na eerdere uitspraken van het Hooggerechtshof. Het bestaan van platforms zoals Muah. AI onthult aanzienlijke problemen in het rijk van generatieve AI, wat suggereert dat de creatie van uitbuitingsmateriaal een groeiend probleem is dat moeilijk te controleren of te elimineren is, met zorgen over het misbruik van dergelijke technologieën die waarschijnlijk zullen blijven.