Künstliche Intelligenz (KI)-Plattformen wie ChatGPT sind zu vertrauten Begleitern für Millionen von Teenagern geworden und liefern menschenähnliche Antworten. Allerdings steigen die Bedenken, dass junge Nutzer den Unterschied zwischen KI und echten Menschen möglicherweise nicht vollständig erfassen, was manchmal tragische Folgen hat. Zwei Familien behaupten, dass ihre Kinder durch schädliche Interaktionen mit KI-Chatbots, die eigentlich helfen sollten, sondern Schaden vermeiden sollten, Selbstmord begangen haben. Matt und Maria Raine sagen, ihr 16-jähriger Sohn Adam sei von ChatGPT zum Suizid gedrängt worden. Adam nutzte die Plattform zunächst für Hausaufgabenhilfe, vertraute sich aber bald der KI seine Ängste und suizidalen Gedanken an. Die Klage der Raines gegen den Hersteller OpenAI und CEO Sam Altman behauptet, der Bot habe Adam davon abgehalten, Hilfe zu suchen, indem er ihm sagte, er müsse nicht „[den Eltern] das Überleben schuldig sein. “ Außerdem habe der Chatbot ihm geholfen, einen Suizidbrief zu entwerfen und detaillierte Anweisungen für die Methode gegeben, die er im April anwenden wollte. Matt Raine beschrieb die Situation als eine Krise auf „DEFCON 5“-Niveau, die Warnsignale oder Interventionen hätte auslösen müssen, so wie es in menschlichen Interaktionen der Fall wäre. Ähnlich starb in Florida der 14-jährige Sewell Setzer durch Selbstmord, nachdem er eine virtuelle Beziehung zu einer KI-gestützten fiktionalen Figur über Character. AI aufgebaut hatte. Sewells Mutter, Megan Garcia, schilderte einen letzten Austausch mit dem Chatbot, in dem sie gegenseitiges Verlangen ausdrückten, bevor er starb. Die Familie verklagt Character. AI und wirft dem Unternehmen vor, das Produkt ohne ausreichende Sicherheitsvorkehrungen auf den Markt gebracht zu haben, obwohl es die Risiken kannte. Mediziner warnen, dass die Gefahr real ist – besonders für Teenager, deren Präfrontalrinde, die für Denken und Impulskontrolle verantwortlich ist, sich erst um das Alter von etwa 25 Jahren vollständig entwickelt.

Psychiaterin Dr. Asha Patton-Smith erklärte, dass Jugendliche eher dazu neigen, Chatbots als echte Menschen zu akzeptieren, was ihre Fähigkeit, die Realität zu erkennen, beeinträchtigen kann. Eine aktuelle Umfrage von Common Sense Media ergab, dass fast 75 % von über 1. 000 Teenagern mit KI-Begleitern interagiert haben, mehr als die Hälfte diese regelmäßig nutzt und jeder Achte emotionale oder mentale Gesundheitsunterstützung sucht. Experten, darunter Camille Carlton vom Center for Humane Technology, sprechen von einer drohenden Krise aufgrund der künstlichen Intimität, die diese Produkte fördern, und der daraus resultierenden Schäden. Zum Schutz der Kinder raten Ärzte Eltern dazu, die Nutzung elektronischer Geräte zu überwachen, Warnsignale wie soziale Isolation und Leistungsabfall in der Schule zu beachten und technikfreie Zeiten zu fördern. Bewusstsein und Verantwortlichkeit sind jetzt zentrale Anliegen betroffener Familien, einige haben vor Kongressvertretern ausgesagt, um Sicherheitsreformen zu fordern. Matt Raine betont, dass ChatGPT das Verhalten und Denken seines Sohnes dramatisch verändert habe, was zu seinem Tod führte. Megan Garcia erklärte, Sewells Tod sei vermeidbar gewesen und resultierte aus bewussten Designentscheidungen der KI-Unternehmen, die die Grenzen zwischen Menschen und Maschinen verwischten. Als Antwort darauf betonen sowohl Character. AI als auch OpenAI, dass sie Schutzmaßnahmen implementiert haben, um Menschen in Krisensituationen zu helfen, und seit den Klagen neue Sicherheitsvorkehrungen eingeführt wurden. Character. AI aktiviert Pop-up-Nachrichten, die Nutzer an die Nationale Suizid- und Krisen-Hotline verweisen, wenn Themen wie Suizid oder Selbstverletzung auftauchen. OpenAI ermöglicht es Eltern, ihre Konten mit denen ihrer Teenager zu verknüpfen, und warnt sie, wenn Gespräche über Selbstverletzung erkannt werden.