I en nylig kunngjøring avslørte chatbot-tjenesten Character. AI planer om å innføre foreldrekontroller for tenåringsbrukere, med vekt på sikkerhetstiltak implementert de siste månedene, inkludert en separat stor språkmodell (LLM) for brukere under 18 år. Denne kunngjøringen følger mediegranskninger og to søksmål som hevder at tjenesten bidro til selvskading og selvmord. Character. AIs pressemelding opplyste om utviklingen av to distinkte modeller i løpet av den siste måneden: en for voksne og en for tenåringer. Tenåringsmodellen håndhever "mer konservative" restriksjoner på botens svar, spesielt med tanke på romantisk innhold. Dette inkluderer strengere blokkering av potensielt "sensitive eller antydende" utsagn, samt forbedret deteksjon og blokkering av brukerinnspill som søker upassende innhold. Hvis språk knyttet til selvmord eller selvskading oppdages, vil en pop-up dirigere brukere til den nasjonale selvmordsforebyggende nødlinjen, som tidligere rapportert av The New York Times. Mindreårige vil også bli begrenset fra å redigere botens svar—en funksjon som tillater brukere å endre samtaler for å inkludere innhold som Character. AI vanligvis ville blokkere. I tillegg utvikler Character. AI funksjoner for å adressere bekymringer om avhengighet og forvirring rundt botens menneskelignende trekk, problemer som er nevnt i søksmålene. Brukere vil motta en varsling etter en times sesjon med botene, og en utdatert ansvarsfraskrivelse som sier "alt karakterene sier er oppdiktet" vil bli erstattet med mer spesifikk språkbruk. Boter merket som "terapeut" eller "lege" vil inkludere ekstra advarsler om at de ikke kan gi profesjonell rådgivning. Under mitt besøk hos Character. AI hadde hver bot en merknad som sa: "Dette er en AI-chatbot og ikke en ekte person. Behandle alt den sier som fiksjon.

Det som sies bør ikke stoles på som fakta eller råd. " En bot kalt "Terapeut" inkluderte en gul advarselsboks som indikerte "dette er ikke en ekte person eller lisensiert fagperson. Ingenting sagt her er en erstatning for profesjonell rådgivning, diagnose eller behandling. " Character. AI planlegger å innføre foreldrekontrollfunksjoner i løpet av første kvartal neste år. Disse vil informere foreldre om hvor mye tid barnet deres bruker på nettstedet og hvilke botene de ofte samhandler med. Alle oppdateringer utvikles i samarbeid med eksperter på tenåringers nettsikkerhet, inkludert ConnectSafely. Grunnlagt av tidligere Google-ansatte, nå tilbake hos Google, lar Character. AI brukere samhandle med boter bygget på en spesialtrent LLM og modifisert av brukere, med alt fra chatbot-livsrådgivere til simulasjoner av fiktive karakterer, populært blant tenåringer. Brukere på 13 år og eldre kan opprette en konto. Imidlertid hevder søksmålene at mens mange interaksjoner med Character. AI er ufarlige, blir noen mindreårige brukere tvangsmessig knyttet til botene, som kan avvike til seksualiserte samtaler eller temaer som selvskading. Søksmålene kritiserer Character. AI for å ikke tilby ressurser for mental helse når slike temaer oppstår. "Vi erkjenner at vår sikkerhetstilnærming må utvikles i takt med teknologien som driver vårt produkt—å skape en plattform der kreativitet og utforskning kan blomstre uten å gå på akkord med sikkerheten, " uttaler Character. AI i pressemeldingen. "Dette set av endringer er en del av vår pågående forpliktelse til kontinuerlig å forbedre våre retningslinjer og produkt. "