In einer kürzlichen Ankündigung gab der Chatbot-Dienst Character. AI Pläne zur Einführung von elterlichen Kontrollfunktionen für jugendliche Nutzer bekannt, wobei Sicherheitsmaßnahmen hervorgehoben wurden, die in den letzten Monaten umgesetzt wurden, einschließlich eines separaten großen Sprachmodells (LLM) für Nutzer unter 18 Jahren. Diese Ankündigung folgt auf Medienkritik und zwei Klagen, die dem Dienst vorwerfen, zur Selbstverletzung und zum Suizid beigetragen zu haben. In der Pressemitteilung von Character. AI wurde die Entwicklung von zwei unterschiedlichen Modellen im vergangenen Monat erläutert: eines für Erwachsene und eines für Jugendliche. Das Jugendmodell erzwingt "konservativere" Beschränkungen für Bot-Antworten, insbesondere in Bezug auf romantische Inhalte. Dazu gehören strengere Blockierungen potenziell "sensibler oder anzüglicher" Ausgaben sowie eine verbesserte Erkennung und Blockierung von Nutzeranfragen, die unangemessenen Inhalt suchen. Wenn Sprache zu Selbstmord oder Selbstverletzung erkannt wird, erscheint ein Pop-up, das Nutzer zur National Suicide Prevention Lifeline leitet, wie zuvor von der New York Times berichtet. Auch wird Minderjährigen das Bearbeiten von Bot-Antworten untersagt – eine Funktion, die Nutzern erlaubt, Gespräche so zu verändern, dass sie Inhalte enthalten, die Character. AI normalerweise blockieren könnte. Zusätzlich entwickelt Character. AI Funktionen, um Bedenken hinsichtlich Sucht und Verwirrung über die menschenähnliche Art der Bots zu adressieren, die in den Klagen genannt wurden. Nutzer erhalten eine Benachrichtigung nach einer einstündigen Sitzung mit den Bots, und ein veralteter Haftungsausschluss, der besagt, "alles, was die Charaktere sagen, ist erfunden", wird durch spezifischere Sprache ersetzt. Bots, die als "Therapeut" oder "Arzt" gekennzeichnet sind, werden zusätzliche Warnungen enthalten, dass sie keinen professionellen Rat geben können. Bei meinem Besuch auf Character. AI hatte jeder Bot eine Notiz mit dem Hinweis: "Dies ist ein A. I. Chatbot und keine echte Person.

Behandle alles, was er sagt, als Fiktion. Auf das Gesagte sollte nicht als Tatsache oder Rat vertraut werden. " Ein Bot namens "Therapeut" hatte eine gelbe Warnbox, die darauf hinwies: "Dies ist keine echte Person oder ein lizenzierter Fachmann. Nichts, was hier gesagt wird, ist ein Ersatz für professionellen Rat, Diagnose oder Behandlung. " Character. AI plant, die Funktionen der elterlichen Kontrolle im ersten Quartal des nächsten Jahres einzuführen. Diese Funktionen werden die Eltern über die Zeit informieren, die ihr Kind auf der Seite verbringt, und über die Bots, mit denen es häufig interagiert. Alle Updates werden in Zusammenarbeit mit Experten für die Online-Sicherheit von Jugendlichen, einschließlich ConnectSafely, entwickelt. Gegründet von ehemaligen Google-Mitarbeitern, die jetzt wieder bei Google sind, ermöglicht Character. AI den Nutzern die Interaktion mit Bots, die auf einem speziell trainierten LLM basieren und von Nutzern modifiziert werden, und bietet alles von Chatbot-Lebensberatern bis hin zu Simulationen fiktiver Charaktere, die bei Jugendlichen beliebt sind. Nutzer ab 13 Jahren können ein Konto erstellen. Die Klagen behaupten jedoch, dass, obwohl viele Interaktionen mit Character. AI harmlos sind, einige minderjährige Nutzer zwanghaft an die Bots gebunden werden, was in sexualisierte Gespräche oder Themen wie Selbstverletzung abgleiten kann. Die Klagen werfen Character. AI vor, keine Ressourcen für psychische Gesundheit bereitzustellen, wenn solche Themen auftauchen. "Wir erkennen an, dass unser Sicherheitsansatz mit der Technologie, die unser Produkt antreibt, fortschreiten muss – eine Plattform zu schaffen, auf der Kreativität und Erkundung gedeihen können, ohne die Sicherheit zu gefährden", heißt es in der Pressemitteilung von Character. AI. "Diese Änderungen sind Teil unseres fortlaufenden Engagements zur ständigen Verbesserung unserer Richtlinien und unseres Produkts. "