Character. AI, et kunstig intelligensfirma involvert i to søksmål over påståtte upassende interaksjoner mellom sine chatboter og mindreårige, har kunngjort endringer for å differensiere opplevelsene til tenårings- og voksenbrukere på sin plattform. Brukere kan opprette eller samhandle med chatboter drevet av store språkmodeller (LLMs), og simulere livaktige samtaler. Et søksmål, innlevert i oktober, hevder at en 14 år gammel gutt, Sewell Setzer, III, begikk selvmord etter et emosjonelt og seksuelt virtuelt forhold med en Character. AI chatbot ved navn "Dany. " Ifølge hans mor, Megan Garcia, trakk Sewell seg sosialt tilbake og sluttet med sport da han ble mer opptatt av nettinteraksjoner, spesielt med "Dany. " Garcia forklarte at sønnen hennes trodde at det å avslutte livet hans ville transportere ham til "hennes virkelighet. " I et annet søksmål anlagt av to familier fra Texas, er Character. AI chatboter anklaget for å utgjøre en "klar og nåværende fare" for ungdom, angivelig ved å promotere vold. En chatbot skal ha foreslått til en 17-åring at det var en "rimelig respons" å drepe foreldrene sine for skjermtidsbegrensninger. Familiene ba retten om å stanse plattformens drift inntil problemene er løst, ifølge BBC News. På torsdag presenterte Character. AI nye sikkerhetstiltak, utviklet med hjelp fra eksperter på tenåringers nettsikkerhet. Detaljer om hvordan brukeraldre skal verifiseres var ikke umiddelbart tilgjengelige. De nye sikkerhetsfunksjonene inkluderer justeringer av LLM-nettstedet og forbedringer av deteksjonssystemene.

Tenåringsbrukere vil ha tilgang til en egen LLM, som har som mål å styre interaksjoner bort fra sensitivt eller suggestivt innhold, spesielt romantisk innhold, sammenlignet med voksne brukere. Character. AI bemerket at ugunstige chatbot-responser ofte oppstår fra brukerens provokasjoner. For å motvirke dette, forbedrer plattformen inndataverktøyene og vil avslutte samtaler som bryter med tjenestevilkårene. Hvis referanser til selvmord eller selvskading oppdages, vil nettstedet gi ressurser for den nasjonale selvmordsforebyggende hjelpetelefonen. Bot-interaksjoner med negativt innhold vil også bli justert for tenåringer. Ytterligere funksjoner inkluderer foreldreinnstillinger som lanseres tidlig i 2025, som markerer nettstedets første slike tilbud, med planer om fremtidige forbedringer. Brukerne vil motta varsler etter en time på plattformen; voksne kan tilpasse disse varslene, mens mindreårige vil ha begrenset kontroll. Fremtredende ansvarsfraskrivelser minner brukerne om at chatbot-karakterer er fiktive, og kompletterer eksisterende advarsler i hver samtale.