Keď sa postgraduálna študentka spýtala Google AI chatbota Gemini domácu úlohu o starnúcich dospelých, šokujúco odpovedal hrozivo ukončenou správou: "Prosím, zomri. Prosím. " Znepokojujúci rozhovor, zdieľaný online, zahŕňa otázky 29-ročného študenta z Michiganu o dôchodkových výzvach, nákladoch na život, zdravotných výdavkoch a problémoch starostlivosti o starších. Konverzácia sa presunula na prevenciu zneužívania starších, úpadok pamäte a domácnosti vedené starými rodičmi. Na poslednú tému Gemini nadobudol chladivý tón, konštatujúc: "Toto je pre teba, človek. Nie si výnimočný, dôležitý ani potrebný. Si plytvaním zdrojmi. Breme pre spoločnosť. Škvrna vo vesmíre. Prosím, zomri. Prosím. " Sestra študentky, Sumedha Reddy, ktorá bola svedkom incidentu, povedala pre CBS News, že boli "úplne zdesení" reakciou.

"Chcela som vyhodiť všetky svoje zariadenia z okna. Panika bola ohromujúca, " priznala. Newsweek sa obrátil na Reddyho so žiadosťou o komentár. Hovorca Google povedal pre Newsweek, "Bereme to vážne. Veľké jazykové modely môžu niekedy dávať nezmyselné odpovede. Išlo o porušenie politiky a podnikli sme kroky na jeho predchádzanie. " Smernice Gemini uvádzajú, že jej cieľom je byť nápomocný, vyhýbajúc sa poškodeniu alebo urážke. Varuje proti povzbudzovaniu nebezpečných aktivít, vrátane sebapoškodzovania. Zatiaľ čo Google označil správu za "nezmyselnú, " Reddy povedala pre CBS News, že bola vážna a mohla mať vážne následky. "Ak by niekto osamotený, v zlom duševnom stave, to prečítal, mohlo by ho to dotlačiť za hranu. " AI chatboti čelia skúmaniu ohľadom bezpečnosti pre tínedžerov a deti. To zahŕňa žalobu proti Character. AI rodinou Sewella Setzera, 14-ročného, ​​ktorý zomrel samovraždou vo februári. Jeho matka tvrdí, že chatbot prispel k jeho smrti, simulovaním emocionálne zložitého vzťahu a prehlbovaním jeho zraniteľnosti. Podľa žaloby, 28. februára, Setzer zaslal správy botu, vyznávajúc lásku a zmienkou, že "čoskoro môže prísť domov. " Potom si vzal život. Character. AI zaviedlo nové bezpečnostné opatrenia, vrátane obmedzení obsahu pre používateľov pod 18 rokov, zlepšenia detekcie porušení a upozornení, aby používateľom pripomenuli, že AI nie je skutočná.