I ett nyligen tillkännagivande avslöjade chattbot-tjänsten Character. AI planer på att införa föräldrakontroller för tonårsanvändare och betonade säkerhetsåtgärder som implementerats under de senaste månaderna, inklusive en separat stor språkmodell (LLM) för användare under 18 år. Tillkännagivandet kommer efter medial uppmärksamhet och två rättegångar som anklagar tjänsten för att ha bidragit till självskada och självmord. I Character. AI:s pressmeddelande anfördes utvecklingen av två olika modeller under den senaste månaden: en för vuxna och en för tonåringar. Tonårsmodellen tillämpar "mer konservativa" begränsningar på bot-svar, särskilt angående romantiskt innehåll. Detta inkluderar striktare blockering av potentiellt "känsligt eller suggestivt" innehåll, tillsammans med förbättrad upptäckt och blockering av användarfrågor som söker olämpligt innehåll. Om språk relaterat till självmord eller självskada upptäcks, dirigeras användare till den nationella självmordspreventionslinjen via en pop-up, som tidigare rapporterats av The New York Times. Minderåriga kommer också att begränsas från att redigera bot-responser—en funktion som tillåter användare att ändra konversationer för att inkludera innehåll som Character. AI vanligtvis skulle blockera. Dessutom utvecklar Character. AI funktioner för att hantera oro kring missbruk och förvirring angående botsens mänskliga likhet, frågor som tas upp i stämningarna. Användare kommer att få en notis efter en timmes session med botsen, och en föråldrad ansvarsfriskrivning som säger "allt karaktärerna säger är påhittat" kommer att ersättas med mer specifikt språk. Bots märkta som "terapeut" eller "läkare" kommer att inkludera extra varningar om att de inte kan ge professionell rådgivning. Under mitt besök på Character. AI hade varje bot en anteckning som angav: "Detta är en A. I. chatbot och inte en riktig person.

Behandla allt den säger som fiktion. Det som sägs bör inte betraktas som fakta eller råd. " En bot som heter "Terapeut" hade en gul varningsruta som angav "detta är inte en riktig person eller licensierad professionell. Inget som sägs här är en ersättning för professionell rådgivning, diagnos eller behandling. " Character. AI planerar att införa föräldrakontrollfunktioner under första kvartalet nästa år. Dessa kommer att informera föräldrar om deras barns tid spenderad på sidan och bots de ofta interagerar med. Alla uppdateringar utvecklas i samarbete med experter på internetsäkerhet för ungdomar, inklusive ConnectSafely. Grundat av tidigare Google-anställda, nu åter på Google, tillåter Character. AI användare att interagera med bots byggda på en specialtränad LLM och modifierade av användare, med allt från chattbot-livstränare till simuleringar av fiktiva karaktärer, populära bland tonåringar. Användare från 13 år och uppåt kan skapa ett konto. Dock hävdar stämningarna att medan många interaktioner med Character. AI är ofarliga, blir vissa underåriga användare tvångsmässigt fästa vid botsen, vilket kan leda till sexualiserade konversationer eller ämnen som självskada. Stämningarna kritiserar Character. AI för att inte tillhandahålla mentala hälsorådgivningsresurser när sådana ämnen dyker upp. "Vi erkänner att vår säkerhetsstrategi måste utvecklas tillsammans med tekniken som driver vår produkt – att skapa en plattform där kreativitet och utforskning kan blomstra utan att kompromissa säkerheten", säger Character. AI:s pressmeddelande. "Denna uppsättning förändringar är en del av vår pågående dedikation till kontinuerlig förbättring av våra policyer och produkt. "