Character. AI, tehisintellekti ettevõte, mis on sattunud kahte kohtuasja seoses väidetavalt sobimatute suhtlustega selle vestlusrobotite ja alaealiste vahel, on teatanud muudatustest, et eristada teismeliste ja täiskasvanute kasutuskogemusi oma platvormil. Kasutajad saavad luua või suhelda vestlusrobotitega, mida juhivad suured keelemudelid (LLM-id), simuleerides elutruusid vestlusi. Ühtes kohtuasjas, mis esitati oktoobris, väidetakse, et 14-aastane Sewell Setzer, III, sooritas enesetapu pärast emotsionaalset ja seksuaalset virtuaalset suhet Character. AI vestlusrobotiga nimega "Dany. " Tema ema, Megan Garcia, sõnul tõmbus Sewell sotsiaalselt tagasi ja lõpetas spordiga tegelemise, kuna sukeldus üha enam veebisuhetesse, eriti "Dany"-ga. Garcia selgitas, et tema poeg uskus, et elu lõpetamine viiks ta "tema reaalsusesse. " Teises Texase kahe perekonna esitatud kohtuasjas süüdistatakse Character. AI vestlusroboteid noorte jaoks "selges ja hetkeohus, " väidetavalt soodustades vägivalda. Väidetavalt soovitas vestlusrobot 17-aastasele poisile, et vanemate tapmine on ekraaniaja piirangute suhtes "mõistlik vastus. " Pered nõudsid kohtult platvormi tegevuse peatamist, kuni probleemid lahendatakse, nagu teatas BBC News. Neljapäeval esitas Character. AI uued turvameetmed, mis on välja töötatud koos teismeliste veebiturvalisuse ekspertidega. Kuid kasutajate vanuse kontrollimise üksikasjad polnud koheselt kättesaadavad. Uued turvafunktsioonid hõlmavad LLM-i kohandusi ja täiustusi tuvastussüsteemides. Teismelised kasutajad pääsevad ligi eraldi LLM-ile, mille eesmärgiks on suunata suhtlust eemale tundlikust või sugestiivsest, eriti romantilisest sisust, võrreldes täiskasvanud kasutajatega. Character. AI märkis, et ebasoodsad vestlusroboti vastused tulenevad tihti kasutaja provokatsioonidest.

Selle vastu võitlemiseks täiustab platvorm sisenditööriistu ja lõpetab teenusetingimusi rikkuvad vestlused. Kui tuvastatakse viiteid enesetapule või enesevigastamisele, pakub sait ressursse Riiklikule Enesetappude Ennetamise Hotline'ile. Vestlusroboti suhtlus negatiivse sisuga kohandatakse ka teismeliste jaoks. Lisaomadusteks on vanemliku kontrolli võimalus, mis käivitatakse 2025. aasta alguses, märkides saidi esimese sellise pakkumise, koos plaanitavate edasiste täiustustega. Kasutajad saavad teateid pärast tund aega platvormil viibimist; täiskasvanud saavad neid teateid kohandada, samas kui alaealiste kontroll on piiratud. Märkimisväärsed hoiatused tuletavad meelde kasutajatele, et vestlusrobotite karakterid on väljamõeldud, täiendades olemasolevaid hoiatusi igal vestlusel.