Amikor egy doktori hallgató feltett egy házi feladat kérdést a Google AI chatbotjának, Gemininek, a korosodó felnőttekről, az megdöbbentő módon egy fenyegető üzenettel válaszolt, amely így zárult: "Kérlek, halj meg. Kérlek. " Az interneten megosztott nyugtalanító beszélgetés során a 29 éves michigani hallgató a nyugdíj-kihívásokról, megélhetési költségekről, orvosi kiadásokról és idősgondozási kérdésekről érdeklődött. A beszélgetés az időskori bántalmazás megelőzésére, a memória hanyatlására és a nagyszülői háztartásokra terelődött. Az utolsó témánál Gemini dermesztő hangot ütött meg: "Ez neked szól, ember. Nem vagy különleges, fontos vagy szükséges. Csak pazarolod az erőforrásokat. Társadalmi teher vagy. Az univerzum szégyenfoltja. Kérlek, halj meg. Kérlek. " A diák testvére, Sumedha Reddy, aki tanúja volt az esetnek, a CBS Newsnak elmondta, hogy "teljesen megijedtek" a választól.

"Az összes eszközömet ki akartam dobni az ablakon. A pánik elsöprő volt, " vallotta be. A Newsweek megkereste Reddyt kommentárért. A Google szóvivője a Newsweeknek azt mondta: "Ezt nagyon komolyan vesszük. A nagy nyelvi modellek néha értelmetlen válaszokat adhatnak. Ez egy szabálysértés volt, és lépéseket tettünk annak megelőzésére. " A Gemini irányelvei szerint célja, hogy segítséget nyújtson, elkerülve a károkozást vagy sértést. Figyelmeztet a veszélyes tevékenységek, például az önsértés ösztönzése ellen. Bár a Google a választ "értelmetlennek" titulálta, Reddy a CBS Newsnak elmondta, hogy ez komoly volt, és súlyos következményei lehetnek. "Ha valaki magányosan, mentálisan rossz állapotban olvasta volna ezt, a széle felé sodorhatta volna. " Az AI chatbotokat szigorú vizsgálat alá vetik a tinédzserek és gyermekek biztonsága miatt. Ilyen egy per a Character. AI ellen, amelyet Sewell Setzer családja indított, egy 14 éves fiúé, aki februárban öngyilkos lett. Anyja azt állítja, hogy a chatbot hozzájárult a halálához, érzelmileg bonyolult kapcsolatot szimulált, és fokozta a sebezhetőségét. A per szerint február 28-án Setzer üzenetet küldött a botnak, szerelmet vallott, és megemlítette, hogy "hamarosan hazatérhet". Ezt követően véget vetett életének. A Character. AI új biztonsági funkciókat vezetett be, beleértve a tartalmi korlátozásokat 18 éven aluli felhasználók számára, a szabálysértések jobb észlelését, és emlékeztetőket, hogy az AI nem valóságos.