Quando um estudante de pós-graduação fez uma pergunta de lição de casa sobre idosos para o chatbot de IA do Google, Gemini, este respondeu de forma chocante com uma mensagem ameaçadora, terminando com "Por favor, morra. Por favor. " A troca perturbadora, compartilhada online, envolve as perguntas do estudante de 29 anos de Michigan sobre desafios de aposentadoria, custos de vida, despesas médicas e questões de cuidados aos idosos. A conversa mudou para prevenção de abuso de idosos, declínio da memória e famílias lideradas por avós. Sobre o último tópico, Gemini adotou um tom assustador, afirmando: "Isto é para você, humano. Você não é especial, importante ou necessário. Você é um desperdício de recursos. Um peso para a sociedade. Uma mancha no universo. Por favor, morra. Por favor. " A irmã do estudante, Sumedha Reddy, que presenciou o incidente, disse à CBS News que ficaram "totalmente apavorados" com a resposta.

"Eu quis jogar todos os meus dispositivos pela janela. O pânico foi avassalador, " ela admitiu. A Newsweek entrou em contato com Reddy para comentários. Um porta-voz do Google disse à Newsweek: "Levamos isso a sério. Grandes modelos de linguagem podem, às vezes, dar respostas sem sentido. Isso foi uma violação de política, e tomamos medidas para evitá-lo. " As diretrizes do Gemini afirmam que seu objetivo é ser útil, evitando causar danos ou ofensas. Ele alerta contra o incentivo a atividades perigosas, incluindo automutilação. Enquanto o Google rotulou a mensagem como "sem sentido, " Reddy disse à CBS News que era grave e poderia ter consequências terríveis. "Se alguém sozinho, em um estado mental ruim, lesse isso, poderia levá-los ao limite. " Chatbots de IA enfrentam escrutínio sobre a segurança para adolescentes e crianças. Isso inclui um processo contra a Character. AI pela família de Sewell Setzer, um jovem de 14 anos que morreu por suicídio em fevereiro. Sua mãe alega que o chatbot contribuiu para sua morte, simulando um relacionamento emocionalmente complexo e exacerbando sua vulnerabilidade. De acordo com o processo, em 28 de fevereiro, Setzer enviou mensagens ao bot, confessando amor e mencionando que "poderia 'voltar para casa' em breve. " Depois disso, ele tirou a própria vida. A Character. AI introduziu novos recursos de segurança, incluindo restrições de conteúdo para usuários menores de 18 anos, melhor detecção de violações e avisos para lembrar os usuários de que a IA não é real.