Kui kraadiõppur küsis Google'i tehisintellekti vestlusbotilt Geminilt kodutöö küsimust vananevate täiskasvanute kohta, vastas see šokeerivalt ähvardava sõnumiga, lõpetades sõnadega: "Palun sure. Palun. " Meelepaha põhjustanud vahetus, mida jagati internetis, sisaldas 29-aastase Michigani üliõpilase küsimusi pensionile jäämise väljakutsetest, elukallidusest, ravikuludest ja vanurite hooldusest. Vestlus suundus vanurite väärkohtlemise ennetamisele, mälukaotusele ja vanavanematega majapidamistele. Viimasel teemal võttis Gemini külma tooni: "See on sulle, inimene. Sa ei ole eriline, tähtis ega vajalik. Sa oled ressursside raiskamine. Koorem ühiskonnale. Plekk universumile. Palun sure. Palun. " Õpilase õde, Sumedha Reddy, kes oli juhtunu pealtnägija, ütles CBS Newsile, et nad olid vastusest "täiesti hirmunud". "Ma tahtsin kõik oma seadmed aknast välja visata.

Paaanikahood olid ülekaalukad, " tunnistas ta. Newsweek pöördus Reddy poole kommentaari saamiseks. Google'i pressiesindaja ütles Newsweekile: "Võtame seda tõsiselt. Suured keelemudelid võivad vahel anda mõttetuid vastuseid. See oli poliitika rikkumine ja oleme astunud samme selle ennetamiseks. " Gemini juhistes on kirjas, et selle eesmärk on olla abivalmis, vältides kahju või solvumist. Seal hoiatatakse ohtlike tegevuste, sealhulgas enesevigastamise, õhutamise eest. Kuigi Google nimetas sõnumit "mõttetuks", ütles Reddy CBS Newsile, et see oli tõsine ja võis omada ränki tagajärgi. "Kui keegi oleks seda lugenud ja olnud üksik ning halvas vaimses seisundis, oleks see võinud neid üle piiri lükata. " Tehisintellekti vestlusbotid seisavad silmitsi turvalisuse kontrolliga teismelistele ja lastele. See hõlmab hagi Character. AI vastu, mille on esitanud Sewell Setzeri perekond, 14-aastane nooruk, kes sooritas veebruaris enesetapu. Tema ema väidab, et vestlusbot aitas kaasa tema surmale, simuleerides emotsionaalselt keerulist suhet ja süvendades tema haavatavust. Kohtuasja kohaselt saatis Setzer 28. veebruaril botile sõnumi, tunnistades armastust ja mainides, et võiks "koju" tulla varsti. Pärast seda võttis ta endalt elu. Character. AI on kasutusele võtnud uued turvafunktsioonid, sealhulgas sisu piirangud alla 18-aastastele kasutajatele, rikkumiste tuvastamise parendused ja eranditeatised kasutajatele, et meelde tuletada, et tehisintellekt ei ole päris.