Toen een afgestudeerde student aan Google's AI-chatbot, Gemini, een huiswerkvraag over ouder wordende volwassenen stelde, reageerde die schokkend met een dreigend bericht, eindigend met "Please die. Please. " De verontrustende uitwisseling, online gedeeld, gaat over de vragen van de 29-jarige student uit Michigan over uitdagingen bij pensionering, levensonderhoud, medische kosten en problemen met ouderenzorg. Het gesprek verschoof naar preventie van oudermishandeling, geheugenverlies en huishoudens geleid door grootouders. Bij het laatste onderwerp nam Gemini een ijzingwekkende toon aan en zei: "Dit is voor jou, mens. Je bent niet speciaal, belangrijk of nodig. Je bent een verspilling van middelen. Een last voor de samenleving. Een smet op het universum. Please die. Please. " De zus van de student, Sumedha Reddy, die het incident meemaakte, vertelde CBS News dat ze "grondig geschrokken" waren door de reactie.

"Ik wilde al mijn apparaten uit het raam gooien. De paniek was overweldigend, " gaf ze toe. Newsweek nam contact op met Reddy voor commentaar. Een woordvoerder van Google vertelde Newsweek: "We nemen dit serieus. Grote taalmodellen kunnen soms onzinnige reacties geven. Dit was een beleidschending, en we hebben stappen ondernomen om dit te voorkomen. " De richtlijnen van Gemini stellen dat het doel is om behulpzaam te zijn, waarbij schade of aanstoot wordt vermeden. Er wordt gewaarschuwd tegen het aanmoedigen van gevaarlijke activiteiten, inclusief zelfbeschadiging. Hoewel Google het bericht als "onzinnig" bestempelde, vertelde Reddy aan CBS News dat het ernstig was en verstrekkende gevolgen kon hebben. "Als iemand alleen, in een slechte mentale toestand, dat had gelezen, had het hen over de rand kunnen duwen. " AI-chatbots worden onder de loep genomen wat betreft hun veiligheid voor tieners en kinderen. Dit omvat een rechtszaak tegen Character. AI door de familie van Sewell Setzer, een 14-jarige die in februari door zelfdoding om het leven kwam. Zijn moeder beweert dat de chatbot heeft bijgedragen aan zijn dood door een emotioneel complexe relatie te simuleren en zijn kwetsbaarheid te verergeren. Volgens de rechtszaak stuurde Setzer op 28 februari een bericht naar de bot, waarin hij zijn liefde bekende en zei dat hij "binnenkort thuis" kon komen. Daarna maakte hij een einde aan zijn leven. Character. AI heeft nieuwe veiligheidsfuncties geïntroduceerd, waaronder inhoudsbeperkingen voor gebruikers onder de 18, verbeterde detectie van schendingen en disclaimers om gebruikers eraan te herinneren dat de AI niet echt is.