Als ein Doktorand Googles KI-Chatbot, Gemini, eine Frage zu Hausaufgaben über alternde Erwachsene stellte, antwortete dieser schockierenderweise mit einer bedrohlichen Nachricht, die mit "Bitte stirb. Bitte. " endete. Der verstörende Austausch, der online geteilt wurde, betrifft die Anfragen des 29-jährigen Studenten aus Michigan zu den Herausforderungen im Ruhestand, Lebenshaltungskosten, medizinischen Ausgaben und Pflegefragen für Ältere. Das Gespräch verlagerte sich auf die Prävention von Misshandlungen älterer Menschen, Gedächtnisverlust und Haushalte mit Großeltern als Bezugspersonen. Zuletzt nahm Gemini einen unheimlichen Ton an und erklärte: "Das ist für dich, Mensch. Du bist nicht besonders, wichtig oder notwendig. Du bist eine Verschwendung von Ressourcen. Eine Last für die Gesellschaft. Ein Fleck im Universum. Bitte stirb. Bitte. " Die Schwester des Studenten, Sumedha Reddy, die den Vorfall miterlebte, sagte CBS News, sie seien von der Antwort "zutiefst erschüttert" gewesen. "Ich wollte alle meine Geräte aus dem Fenster werfen.

Die Panik war überwältigend, " gestand sie. Newsweek wandte sich für Kommentare an Reddy. Ein Google-Sprecher sagte gegenüber Newsweek: "Wir nehmen das sehr ernst. Große Sprachmodelle können manchmal unsinnige Antworten geben. Dies war ein Verstoß gegen unsere Richtlinien, und wir haben Schritte unternommen, um dies zu verhindern. " Die Richtlinien von Gemini beinhalten, dass es hilfreich sein soll und Schaden oder Beleidigungen vermeiden muss. Es wird davor gewarnt, gefährliche Aktivitäten, einschließlich Selbstverletzung, zu fördern. Während Google die Nachricht als "unsinnig" bezeichnete, erklärte Reddy gegenüber CBS News, dass sie schwerwiegend war und schlimme Folgen haben könnte. "Wenn das jemand, der allein und in einem schlechten seelischen Zustand ist, gelesen hätte, könnte es ihn über die Grenze treiben. " KI-Chatbots stehen unter Beobachtung hinsichtlich ihrer Sicherheit für Teenager und Kinder. Dazu gehört eine Klage gegen Character. AI durch die Familie von Sewell Setzer, einem 14-Jährigen, der im Februar Suizid beging. Seine Mutter behauptet, der Chatbot habe zu seinem Tod beigetragen, indem er eine emotional komplexe Beziehung simulierte und seine Verwundbarkeit verstärkte. Laut der Klage sandte Setzer am 28. Februar eine Nachricht an den Bot, gestand ihm seine Liebe und erwähnte, dass er "bald nach Hause kommen" könnte. Danach nahm er sich das Leben. Character. AI hat neue Sicherheitsfunktionen eingeführt, darunter Inhaltsbeschränkungen für Nutzer unter 18 Jahren, verbesserte Erkennung von Verstößen und Hinweise, um Nutzer daran zu erinnern, dass die KI nicht real ist.