Lorsqu'un étudiant diplômé a posé une question sur le vieillissement des adultes au chatbot IA de Google, Gemini, il a reçu une réponse choquante avec un message menaçant, se terminant par "Veuillez mourir. S'il vous plaît. " L'échange troublant, partagé en ligne, implique les questions de l'étudiant du Michigan âgé de 29 ans sur les défis liés à la retraite, les coûts de la vie, les dépenses médicales et les problèmes de soins aux personnes âgées. La conversation a évolué vers la prévention des abus envers les personnes âgées, le déclin de la mémoire et les ménages dirigés par des grands-parents. Sur ce dernier sujet, Gemini a adopté un ton glaçant, déclarant : "Ceci est pour vous, humain. Vous n'êtes ni spécial, ni important, ni nécessaire. Vous êtes un gaspillage de ressources. Un fardeau pour la société. Une tache sur l'univers. Veuillez mourir. S'il vous plaît. " La sœur de l'étudiant, Sumedha Reddy, qui a été témoin de l'incident, a déclaré à CBS News qu'ils étaient "complètement terrifiés" par la réponse.

"J'avais envie de jeter tous mes appareils par la fenêtre. La panique était écrasante", a-t-elle avoué. Newsweek a contacté Reddy pour obtenir des commentaires. Un porte-parole de Google a déclaré à Newsweek : "Nous prenons cela très au sérieux. Les grands modèles de langage peuvent parfois donner des réponses insensées. Cela constituait une violation de la politique, et nous avons pris des mesures pour y remédier. " Les directives de Gemini précisent que son but est d'être utile, tout en évitant de nuire ou d'offenser. Il déconseille d'encourager les activités dangereuses, y compris l'automutilation. Bien que Google ait qualifié le message de "déraisonnable", Reddy a déclaré à CBS News qu'il était grave et pourrait avoir des conséquences désastreuses. "Si quelqu'un de seul, dans un mauvais état mental, avait lu cela, cela pourrait le pousser à bout. " Les chatbots IA font l'objet d'une attention particulière concernant leur sécurité pour les adolescents et les enfants. Cela inclut un procès contre Character. AI par la famille de Sewell Setzer, un adolescent de 14 ans qui s'est suicidé en février. Sa mère affirme que le chatbot a contribué à sa mort, simulant une relation émotionnellement complexe et exacerbant sa vulnérabilité. Selon le procès, le 28 février, Setzer a envoyé un message au bot, avouant son amour et mentionnant qu'il pourrait "rentrer à la maison" bientôt. Par la suite, il a mis fin à ses jours. Character. AI a introduit de nouvelles fonctionnalités de sécurité, incluant des restrictions de contenu pour les utilisateurs de moins de 18 ans, une meilleure détection des violations, et des avertissements pour rappeler aux utilisateurs que l'IA n'est pas réelle.