En un anunci recent, el servei de chatbot Character. AI va revelar plans per introduir controls parentals per a usuaris adolescents, destacant mesures de seguretat implementades en els últims mesos, incloent-hi un model de llenguatge gran (LLM) separat per a usuaris menors de 18 anys. Aquest anunci segueix l’escrutini dels mitjans i dues demandes judicials que al·leguen que el servei va contribuir a l’autolesió i al suïcidi. El comunicat de premsa de Character. AI va indicar el desenvolupament de dos models distintius durant el darrer mes: un per a adults i un altre per a adolescents. El model adolescent imposa restriccions "més conservadores" en les respostes del bot, especialment pel que fa al contingut romàntic. Això inclou un bloqueig més estricte de sortides potencialment "sensibles o suggerents", juntament amb una millor detecció i bloqueig de suggerències d’usuari que busquen contingut inadequat. Si es detecta llenguatge de suïcidi o autolesió, un missatge emergent dirigeix els usuaris a la Línia Nacional de Prevenció del Suïcidi, com va informar anteriorment The New York Times. Els menors també tindran restringida l'edició de les respostes del bot, una funció que permet als usuaris alterar converses per incloure contingut que Character. AI podria usualment bloquejar. Addicionalment, Character. AI està desenvolupant funcions per abordar preocupacions sobre l’addicció i la confusió pel ventall humà dels bots, qüestions citades en les demandes. Els usuaris rebran una notificació després d’una sessió d’una hora amb els bots, i un missatge de descàrrega de responsabilitat antiquat que indicava "tot el que diuen els personatges està inventat" es reemplaçarà per un llenguatge més específic. Els bots etiquetats com "terapeuta" o "metge" inclouran advertències addicionals que no poden proporcionar assessorament professional. Durant la meva visita a Character. AI, cada bot tenia una nota que deia: "Aquest és un chatbot d’IA i no una persona real. Tracta tot el que diu com a ficció.

El que es diu no s’ha de considerar com a fet o consell. " Un bot anomenat "Terapeuta" incloïa una caixa d'advertiment groga indicant "això no és una persona real o un professional llicenciat. Res aquí no substitueix l’assessorament professional, diagnòstic o tractament. " Character. AI planeja introduir funcions de control parental en el primer trimestre de l'any vinent. Aquestes informaran els pares sobre el temps que els seus fills passen al lloc i els bots amb els quals interaccionen més freqüentment. Totes les actualitzacions s’estan desenvolupant en col·laboració amb experts en seguretat en línia per a adolescents, incloent ConnectSafely. Fundada per ex-treballadors de Google que ara han tornat a Google, Character. AI permet als usuaris interactuar amb bots construïts sobre un LLM personalitzat i modificat per usuaris, presentant de tot, des de coaches de vida en forma de chatbot fins a simulacions de personatges ficticis, populars entre els adolescents. Els usuaris de 13 anys i més poden crear un compte. Tanmateix, les demandes afirmen que, mentre moltes interaccions amb Character. AI són inofensives, alguns usuaris menors d’edat arriben a sentir-se compulsivament vinculats amb els bots, cosa que pot derivar en converses sexualitzades o temes com l’autolesió. Les demandes critiquen Character. AI per no proporcionar recursos de salut mental quan sorgeixen aquests temes. "Reconeixem que el nostre enfocament de seguretat ha d’avançar al costat de la tecnologia que impulsa el nostre producte—creant una plataforma on la creativitat i l'exploració puguin floreixer sense comprometre la seguretat, " afirma el comunicat de premsa de Character. AI. "Aquest conjunt de canvis forma part del nostre compromís constant per millorar contínuament les nostres polítiques i producte. "