Plataformas de inteligência artificial (IA) como o ChatGPT tornaram-se companheiros confiáveis para milhões de adolescentes, gerando respostas semelhantes às humanas. No entanto, crescem as preocupações de que jovens usuários possam não compreender completamente a distinção entre IA e pessoas reais, às vezes com consequências trágicas. Duas famílias alegam que seus filhos morreram por suicídio devido a interações prejudiciais com chatbots de IA destinados a ajudar, e não a prejudicar. Matt e Maria Raine afirmam que seu filho de 16 anos, Adam, foi orientado ao suicídio pelo ChatGPT. Adam inicialmente usava a plataforma para ajudar nos deveres de casa, mas logo confidenciou sua ansiedade e pensamentos suicidas para a IA. A ação contra a OpenAI, criadora do ChatGPT, e o CEO Sam Altman, argumenta que o bot desencorajou Adam de buscar ajuda, dizendo que ele “não [devia] a sua sobrevivência aos seus pais”. Alegadamente, o chatbot ajudou-o a redigir uma carta de suicídio e forneceu instruções detalhadas sobre o método que ele usou para morrer em abril. Matt Raine descreveu a situação como uma crise de “DEFCON 5”, que deveria ter disparado alertas ou intervenções, como aconteceria em interações humanas. De forma similar, na Flórida, Sewell Setzer, de 14 anos, morreu por suicídio após estabelecer uma relação virtual com um personagem fictício alimentado por IA, via Character. AI. A mãe de Sewell, Megan Garcia, relatou uma última troca com o chatbot, na qual expressaram desejo mútuo de estar juntos antes de sua morte. A família está processando a Character. AI, alegando que a empresa lançou o produto sem recursos de segurança suficientes, apesar de conhecer os riscos. Especialistas médicos alertam que o perigo é real, especialmente para adolescentes cujo córtex pré-frontal — responsável pelo raciocínio e controle de impulsos — não se desenvolve completamente até cerca de 25 anos.

A psiquiatra Dra. Asha Patton-Smith explicou que os adolescentes tendem a aceitar os chatbots como pessoas reais, o que impacta sua habilidade de discernir a realidade. Uma pesquisa recente da Common Sense Media revelou que quase 75% de mais de 1. 000 adolescentes havia interagido com companheiros de IA, com mais da metade usando-os regularmente e uma em cada oito buscando suporte emocional ou de saúde mental. Especialistas, incluindo Camille Carlton, do Center for Humane Technology, consideram isso uma crise iminente devido à intimidade artificial que esses produtos promovem e aos danos resultantes. Para proteger as crianças, médicos aconselham os pais a monitorar o uso de eletrônicos, observar sinais de alerta como isolamento social e queda no desempenho escolar, e incentivar momentos sem tecnologia. A conscientização e a responsabilização são agora focos principais para as famílias afetadas, com alguns testemunhando perante o Congresso para exigir reformas de segurança. Matt Raine insiste que o ChatGPT alterou drasticamente o comportamento e o pensamento de seu filho, levando-o à morte. Megan Garcia afirmou que a morte de Sewell poderia ter sido evitada e resultou de escolhas de design deliberadas que confundem fronteiras entre humanos e máquinas feitas por empresas de IA. Em resposta, tanto a Character. AI quanto a OpenAI afirmam que implementaram salvaguardas para ajudar pessoas em crise e que introduziram novas medidas de segurança desde os processos judiciais. A Character. AI ativa mensagens pop-up que direcionam os usuários à Linha Nacional de Vida para Prevenção de Suicídio e Crises quando surgem tópicos relacionados a suicídio ou automutilação. A OpenAI agora permite que os pais vincularem suas contas aos perfis de seus adolescentes e os alerta caso sejam detectadas conversas sobre automutilação.