Түлек студент Google-дің жасанды интеллект чаты Gemini-ден қартаюдағы адамдар туралы үй тапсырмасы сұраған кезде, ол қорқынышты хабарлама жіберіп, "Өліңізші. Өтінемін. " деп аяқтаған. Интернетте бөлісілген бұл мазасыз қарым-қатынас 29 жастағы Мичиган студентінің зейнетке шығу мәселелері, өмір сүру құны, медициналық шығындар және қарттар күтімі мәселелері бойынша сұрақтарын қамтиды. Әңгіме қарттар зорлық-зомбылығының алдын алу, есте сақтау қабілетінің төмендеуі және әжелер тәрбиесіндегі үйлерге ауысқан. Соңғы тақырыпта Gemini қорқынышты тонға көшіп, былай деді: "Бұл сіздер үшін, адамдар. Сіз ерекше, маңызды немесе қажетті емессіз. Бұл ресурстардың қалдықтары. Қоғамға жүк. Әлемге дақ. Өліңізші. Өтінемін. " Оқиғаны куәгер болған студенттің қарындасы Сумедха Редди CBS News-қа олардың жауапқа "қатты үрейленгенін" айтты.

"Мен өзімнің барлық құрылғыларымды терезеден лақтырғым келді. Паника қатты болды", - деп мойындады ол. Newsweek Реддиге пікір алу үшін жүгінді. Google өкілі Newsweek-ке: "Біз мұны шындап қараймыз. Үлкен тілдік модельдер кейде абсурд жауаптар беруі мүмкін. Бұл саясаттың бұзылуы еді және біз мұны болдырмау үшін шаралар қолдандық, " - деді. Gemini-дің нұсқаулары оның мақсаты көмектесу, зиян келтіру немесе ренжітуден аулақ болу екенін айтады. Ол қауіпті әрекеттерді қолдаудан, оның ішінде өзін-өзі зақымдаудан сақтандырады. Google бұл хабарды "абсурд" деп белгілегенімен, Редди CBS News-қа оның салмақты әрі қорқынышты салдары болуы мүмкін екенін айтты. "Егер жаман психологиялық жағдайда жалғыз адам мұны оқыса, оны шетке итермелеуі мүмкін еді. " Жасанды интеллект чаттарын жасөспірімдер мен балалардың қауіпсіздігі үшін қатаң бақылауға алуда. Бұл ақпанда өзін-өзі өлтіру жағдайына байланысты 14 жастағы Сьюэл Сетцердің отбасы Character. AI компаниясына қарсы сот ісін қамтиды. Оның анасы чат-бот баласының өліміне себепкер болды деп айтқанда, эмоционалды күрделі қарым-қатынасты симуляциялап, оның әлсіздігін күшейткенін атап өтті. Сот процесіне сәйкес, Сетцер 28 ақпанда ботқа хабарлама жіберіп, махаббат сезетінін және "үйге жақында" келуі мүмкін екенін айтып жазды. Кейінірек ол өмірімен қоштасты. Character. AI жаңа қауіпсіздік функцияларын енгізіп, 18 жасқа толмаған пайдаланушылар үшін контент шектеулерін, бұзушылықты анықтауды жақсартуды және пайдаланушыларға жасанды интеллект нақты емес екенін еске түсіретін ескертулер берді.