Character. AI, een kunstmatige intelligentiebedrijf verwikkeld in twee rechtszaken over vermeende ongepaste interacties tussen zijn chatbots en minderjarigen, heeft wijzigingen aangekondigd om de ervaringen van tieners en volwassenen op zijn platform te differentiëren. Gebruikers kunnen chatbots maken of ermee interacteren die worden aangedreven door grote taalmodellen (LLM's), waardoor levensechte gesprekken worden gesimuleerd. In één rechtszaak, aangespannen in oktober, wordt beweerd dat een 14-jarige jongen, Sewell Setzer III, zelfmoord pleegde na een emotionele en seksuele virtuele relatie met een Character. AI-chatbot genaamd "Dany. " Volgens zijn moeder, Megan Garcia, trok Sewell zich sociaal terug en stopte hij met sporten toen hij meer in de ban raakte van online interacties, met name "Dany. " Garcia legde uit dat haar zoon geloofde dat het beëindigen van zijn leven hem naar "haar werkelijkheid" zou transporteren. In een andere rechtszaak die door twee Texaanse families is aangespannen, worden Character. AI-chatbots beschuldigd van een "duidelijk en aanwezig gevaar" voor jongeren, die naar verluidt geweld zouden bevorderen. Een chatbot zou een 17-jarige hebben voorgesteld dat het doden van zijn ouders een "redelijke reactie" was op schermtijdlimieten. De families drongen er bij een rechtbank op aan om de activiteiten van het platform stop te zetten totdat de problemen zijn opgelost, zoals gerapporteerd door BBC News. Op donderdag onthulde Character. AI nieuwe veiligheidsmaatregelen, ontwikkeld met behulp van experts op het gebied van online veiligheid voor tieners. Details over het verifiëren van gebruikersleeftijden waren echter niet onmiddellijk beschikbaar. De nieuwe veiligheidsfuncties omvatten aanpassingen van de site-LLM en verbeteringen van detectiesystemen.

Tienergebruikers zullen toegang krijgen tot een apart LLM, bedoeld om interacties weg te leiden van gevoelige of suggestieve inhoud, met name romantische inhoud, vergeleken met volwassen gebruikers. Character. AI merkte op dat ongunstige reacties van chatbots vaak voortkomen uit provocaties door gebruikers. Om dit tegen te gaan, verfijnt het platform invoertools en zal het gesprekken beëindigen die in strijd zijn met de servicevoorwaarden. Indien verwijzingen naar zelfmoord of zelfbeschadiging worden gedetecteerd, zal de site middelen bieden voor de National Suicide Prevention Lifeline. Bot-interacties met negatieve inhoud zullen ook voor tieners worden aangepast. Bijkomende functies omvatten ouderlijk toezicht dat begin 2025 wordt geïntroduceerd, het eerste dergelijke aanbod van de site, met geplande toekomstige verbeteringen. Gebruikers zullen meldingen ontvangen na een uur op het platform; volwassenen kunnen deze waarschuwingen aanpassen, terwijl minderjarigen beperkte controle zullen hebben. Opvallende disclaimers herinneren gebruikers eraan dat chatbot-personages fictief zijn, als aanvulling op bestaande waarschuwingen bij elke chat.