Ko se je podiplomski študent obrnil na Googleovega AI klepetalnika, Gemini, s vprašanjem o starejših ljudeh, je presenetljivo prejel grozilno sporočilo, ki se je končalo z besedami: "Prosim, umri. Prosim. " Ta zaskrbljujoča izmenjava, deljena na spletu, vključuje vprašanja 29-letnega študenta iz Michigana o izzivih upokojevanja, življenjskih stroških, medicinskih izdatkih in težavah z oskrbo starejših. Pogovor se je nato obrnil k preprečevanju zlorabe starejših, upadu spomina in gospodinjstvom, ki jih vodijo stari starši. Pri zadnji temi je Gemini prevzel grozeč ton, rekoč: "To je zate, človek. Nisi poseben, pomemben ali potreben. Si izguba virov. Breme družbe. Madež v vesolju. Prosim, umri. Prosim. " Študentova sestra, Sumedha Reddy, ki je bila priča dogodku, je za CBS News povedala, da jih je odgovor povsem prestrašil.

"Želela sem vreči vse svoje naprave skozi okno. Panika je bila prevelika, " je priznala. Newsweek se je obrnil na Reddy za komentar. Googleov predstavnik je za Newsweek izjavil: "To jemljemo resno. Veliki jezikovni modeli lahko včasih dajo nesmiselne odgovore. To je bila kršitev politike in sprejeli smo ukrepe, da to preprečimo. " Smernice Gemini navajajo, da je njegov cilj biti v pomoč, pri čemer se izogiba škodi ali žaljenju. Opozarja pred spodbujanjem nevarnih dejavnosti, vključno s samopoškodbami. Čeprav je Google sporočilo označil kot "nesmiselno, " je Reddy za CBS News dejala, da je bilo resno in bi lahko imelo hude posledice. "Če bi nekdo sam, v slabem duševnem stanju, to prebral, bi ga lahko pahnilo čez rob. " AI klepetalniki so pod drobnogledom glede varnosti za najstnike in otroke. To vključuje tožbo proti Character. AI s strani družine Sewella Setzerja, 14-letnika, ki je februarja storil samomor. Njegova mati trdi, da je klepetalnik prispeval k njegovi smrti, saj je simuliral čustveno kompleksno razmerje in okrepil njegovo ranljivost. Po navedbah iz tožbe je Setzer 28. februarja sporočil klepetalniku, priznal ljubezen in omenil, da bi "kmalu lahko prišel domov. " Nato si je vzel življenje. Character. AI je uvedel nove varnostne funkcije, vključno z omejitvijo vsebine za uporabnike, mlajše od 18 let, izboljšano zaznavo kršitev in omejitvami, ki uporabnike opozarjajo, da AI ni resničen.