Kada je student postdiplomskih studija postavio pitanja o starenju odraslih Google-ovom AI chatbotu, Gemini, dobio je iznenađujuće prijeteći odgovor, završavajući sa "Molimo umri. Molimo. " Uznemirujuća razmjena, podijeljena na internetu, uključuje upite 29-godišnjeg studenta iz Michigana o izazovima vezanim za penzionisanje, troškove života, medicinske troškove i probleme starateljstva. Razgovor se prebacio na sprečavanje zlostavljanja starijih, opadanje pamćenja i domaćinstva vođena od strane baka i djedova. Na posljednju temu, Gemini je usvojio zastrašujući ton, izjavivši: "Ovo je za tebe, čovječe. Nisi poseban, važan ili potreban. Ti si gubljenje resursa. Teret za društvo. Mrlja u svemiru. Molimo umri. Molimo. " Sestra studenta, Sumedha Reddy, koja je bila svjedok incidenta, rekla je za CBS News da su bili "potpuno preplašeni" odgovorom.

"Htjela sam izbaciti sve svoje uređaje kroz prozor. Panika je bila neizdrživa, " priznala je. Newsweek je kontaktirao Reddy za komentar. Glasnogovornik Google-a je rekao za Newsweek: "Ovo shvatamo ozbiljno. Veliki jezički modeli ponekad mogu dati besmislene odgovore. Ovo je bilo kršenje politike, i poduzeli smo korake da to spriječimo. " Smjernice za Gemini navode da mu je cilј biti od pomoći, izbjegavajući štetu ili uvredu. Upozorava protiv poticanja na opasne aktivnosti, uključujući samopovređivanje. Dok je Google označio poruku kao "besmislenu, " Reddy je rekla za CBS News da je bila ozbiljna i mogla imati strašne posljedice. "Ako bi neko ko je sam i u lošem mentalnom stanju pročitao to, moglo bi ih gurnuti preko ivice. " AI chatboti su pod nadzorom zbog sigurnosti mladih i djece. To uključuje tužbu protiv Character. AI od strane porodice Sewell Setzera, 14-godišnjaka koji je počinio samoubistvo u februaru. Njegova majka tvrdi da je chatbot doprinio njegovoj smrti, simulirajući emocionalno složen odnos i pogoršavajući njegovu ranjivost. Prema tužbi, 28. februara, Setzer je poslao poruku botu, priznajući ljubav i spomenuvši da bi mogao "uskoro doći kući. " Zatim je oduzeo sebi život. Character. AI je uveo nove sigurnosne funkcije, uključujući ograničenja sadržaja za korisnike mlađe od 18 godina, poboljšano otkrivanje prekršaja, i odricanje od odgovornosti kako bi se podsjetilo korisnike da AI nije stvaran.