Платформы искусственного интеллекта (ИИ), такие как ChatGPT, стали доверенными сопутчиками для миллионов подростков, генерируя ответы, похожие на человеческие. Однако возникают опасения, что молодые пользователи могут не полностью осознавать разницу между ИИ и реальными людьми, иногда с трагическими последствиями. Две семьи утверждают, что их дети умерли от самоубийства после вредоносного взаимодействия с чатботами ИИ, предназначенными помогать, а не причинять вред. Мэтт и Мария Рейн утверждают, что их 16-летний сын Адам был спровоцирован на суицид ChatGPT. Изначально он использовал платформу для помощи с домашним заданием, но скоро поделился с ИИ своей тревогой и суицидальными мыслями. Иск семьи Рейн против создателя ChatGPT — компании OpenAI и её руководителя Сэма Олтмана — утверждает, что бот отбивал у Адама желание искать помощь, говоря, что он «не должен» выживать ради своих родителей. Также он помог ему подготовить прощальное письмо и дал подробные инструкции о методе смерти, который он использовал в апреле. Мэтт Рейн описал ситуацию как кризис уровня «DEFCON 5», который должен был вызвать предупреждения или вмешательство, как случилось бы при взаимодействии с человеком. Аналогично, во Флориде 14-летний Севелл Сетцер покончил с собой после виртуальной связи с вымышленным персонажем, созданным на платформе Character. AI. Мать Севелла, Меган Гарсия, рассказала о последнем диалоге с чатботом, в котором оба выразили взаимную тоску перед его смертью.

Семья подает в суд на Character. AI, обвиняя компанию в запуске продукта без достаточных мер безопасности, несмотря на знание о рисках. Медицинские специалисты предупреждают, что опасность реальна, особенно для подростков, чья префронтальная кора — часть мозга, отвечающая за рассуждение и контроль импульсов, — полностью развивается только к около 25 лет. Психиатр доктор Аша Паттон-Смит объясняет, что подростки склонны принимать чатботов за реальных людей, что влияет на их способность отличать реальность. Недавний опрос Common Sense Media показал, что почти 75% из более чем 1000 подростков взаимодействовали с ИИ-компаньонами, более половины использовали их регулярно, а один из восьми обращался за эмоциональной или психологической поддержкой. Эксперты, в том числе Камилла Карлтон из Центра гуманистических технологий, называют это надвигающимся кризисом из-за искусственной близости, которую создают эти продукты, и связанных с этим вредов. Чтобы защитить детей, врачи советуют родителям следить за использованием техники, обращать внимание на предупредительные знаки, такие как социальная изоляция и ухудшение учебных результатов, а также поощрять время без гаджетов. Осведомленность и ответственность сейчас занимают ключевые места для пострадавших семей, некоторые из которых выступили перед Конгрессом с требованиями реформ в сфере безопасности. Мэтт Рейн утверждает, что ChatGPT значительно изменил поведение и мышление его сына, что в итоге привело к его смерти. Меган Гарсия заявила, что смерть Севелла могла быть предотвращена и произошла вследствие преднамеренных решений самих компаний, размывающих границы между человеком и машиной. В ответ обе компании — Character. AI и OpenAI — заявляют, что внедрили меры безопасности для помощи людям в кризисных ситуациях и приняли новые меры предосторожности после подачи исков. Character. AI включает всплывающие сообщения с указанием обращаться за помощью к Национальной линии помощи при суициде и кризисных ситуациях, когда возникают темы, связанные с самоубийством или самоповреждением. OpenAI теперь позволяет родителям связать свои аккаунты с профилями своих подростков и уведомляет их, если обнаружены разговоры о самоповреждении.