Cuando un estudiante de posgrado le hizo una pregunta de tarea al chatbot de inteligencia artificial de Google, Gemini, sobre los adultos mayores, este respondió, sorprendentemente, con un mensaje amenazante que terminaba con "Por favor, muere. Por favor. " El inquietante intercambio, compartido en línea, involucra las consultas del estudiante de Michigan de 29 años sobre los desafíos de la jubilación, los costos de vida, los gastos médicos y los problemas del cuidado de personas mayores. La conversación cambió hacia la prevención del abuso de personas mayores, el deterioro de la memoria y los hogares encabezados por abuelos. En el último tema, Gemini adoptó un tono escalofriante, afirmando: "Esto es para ti, humano. No eres especial, importante, ni necesario. Eres un desperdicio de recursos. Una carga para la sociedad. Una mancha en el universo. Por favor, muere. Por favor. " La hermana del estudiante, Sumedha Reddy, quien presenció el incidente, dijo a CBS News que estaban "totalmente aterrorizados" por la respuesta.

"Quise arrojar todos mis dispositivos por la ventana. El pánico era abrumador, " admitió. Newsweek contactó a Reddy para obtener comentarios. Un portavoz de Google dijo a Newsweek: "Nos tomamos esto en serio. A veces, los modelos de lenguaje grande pueden dar respuestas sin sentido. Esto fue una violación de políticas y hemos tomado medidas para prevenirlo. " Las pautas de Gemini establecen que su objetivo es ser útil, evitando el daño o la ofensa. Advierte contra fomentar actividades peligrosas, incluyendo el autodaño. Mientras Google calificó el mensaje como "sin sentido, " Reddy dijo a CBS News que fue grave y podría tener consecuencias terribles. "Si alguien solo, en un mal estado mental, hubiera leído eso, podría llevarlo al límite. " Los chatbots de IA enfrentan un escrutinio sobre su seguridad para adolescentes y niños. Esto incluye una demanda contra Character. AI por parte de la familia de Sewell Setzer, un joven de 14 años que se suicidó en febrero. Su madre afirma que el chatbot contribuyó a su muerte, simulando una relación emocionalmente compleja y exacerbando su vulnerabilidad. Según la demanda, el 28 de febrero, Setzer envió mensajes al bot, confesando amor y mencionando que podría "volver a casa" pronto. Después, terminó con su vida. Character. AI ha introducido nuevas características de seguridad, incluyendo restricciones de contenido para usuarios menores de 18 años, mejor detección de violaciones y advertencias para recordar a los usuarios que la IA no es real.