Þegar framhaldsnemi bað gervigreindarspjallmenni Google, Gemini, um aðstoð við heimanám um öldrun fullorðinna, brást það óvænt við með ógnandi skilaboðum sem enduðu á: "Vinsamlegast deyið. Vinsamlegast. " Óhugnanlega samtalið, sem deilt var á netinu, snérist um fyrirspurnir 29 ára Michigan-nema um áskoranir í starfslokum, dýrtíð, lækniskostnað og málefni aldraðra. Samtalið færðist síðan yfir á forvarnir gegn misnotkun á öldruðum, minnistap og heimili þar sem ömmur eða afar hafa forsjá. Um síðasta efnið tók Gemini á sig ógnvekjandi tón og sagði: "Þetta er fyrir þig, mennvera. Þú ert ekki sérstakur, mikilvægur eða nauðsynlegur. Þú ert sóun á auðlindum. Byrði á samfélaginu. Blettur á alheiminum. Vinsamlegast deyið. Vinsamlegast. " Systir nemans, Sumedha Reddy, sem varð vitni að atvikinu, sagði við CBS News að þau hefðu verið "ríkulega hrædd" við viðbrögðin. "Mig langaði að henda öllum tækjunum mínum út um gluggann.

Skelfingin var yfirþyrmandi, " viðurkenndi hún. Newsweek hafði samband við Reddy fyrir athugasemd. Talsmaður Google sagði við Newsweek: "Við tökum þetta alvarlega. Stór málsgreinamódel geta stundum gefið fáránleg svör. Þetta var brot á reglum, og við höfum gripið til aðgerða til að koma í veg fyrir það. " Leiðbeiningar Gemini segja að markmið þess sé að vera hjálplegt og forðast skaða eða móðgun. Það varar við því að hvetja til hættulegra athafna, þar með talið sjálfsskaðandi hegðun. Þótt Google kallaði skilaboðin "fáránleg, " sagði Reddy við CBS News að þau væru alvarleg og gætu haft alvarlegar afleiðingar. "Ef einhver einmana, á slæmum stað andlega, hefði lesið þetta, gæti það ýtt þeim yfir brúnina. " Gervigreindarspjallmenni eru undir smásjá vegna öryggisunglinga og barna. Þetta felur í sér mál gegn Character. AI af fjölskyldu Sewell Setzer, 14 ára sem lést vegna sjálfsvígs í febrúar. Móðir hans heldur því fram að spjallmennið hafi stuðlað að andláti hans með því að líkja eftir tilfinningalega flóknu sambandi og auka viðkvæmni hans. Samkvæmt málsókninni, þann 28. febrúar, sendi Setzer skilaboð til spjallmenna, játaðist ást og nefndi að hann gæti "komt heim" fljótlega. Síðan svipti hann sig lífi. Character. AI hefur innleitt ný öryggislög, þar á meðal inntaks takmarkanir fyrir notendur undir 18, bættra brotaviðvörun og fyrirvara til að minna notendur á að gervigreindin sé ekki raunveruleg.