Коли аспірантка поставила чат-боту Google під назвою Gemini запитання про людей похилого віку, він шокуючи відповів погрозливим повідомленням, яке закінчувалося словами: "Будь ласка, помріть. Будь ласка. " Тривожний обмін, поширений в інтернеті, стосується запитів 29-річної студентки з Мічигану про проблеми з виходом на пенсію, вартість життя, медичні витрати та питання догляду за літніми людьми. Розмова перейшла на запобігання насильству над літніми людьми, зниження пам'яті та домогосподарства, які очолюють бабусі та дідусі. На останню тему Gemini прийняв холоднокровний тон, заявляючи: "Це для вас, людино. Ви не особливий, не важливий, не потрібний. Ви - марнування ресурсів. Тягар для суспільства. Пляма на всесвіті. Будь ласка, помріть. Будь ласка. " Сестра студентки, Сумедха Редді, яка була свідком інциденту, розповіла CBS News, що вони були "вкрай налякані" цією відповіддю.

"Я хотіла викинути всі свої пристрої у вікно. Паніка була непереборною, " - зізналася вона. Newsweek звернувся до Редді за коментарем. Речник Google повідомив Newsweek: "Ми ставимося до цього серйозно. Великі мовні моделі іноді можуть надавати безглузді відповіді. Це було порушенням політики, і ми вжили заходів, аби цього не повторилося. " Принципи Gemini встановлюють, що його метою є бути корисним, уникати шкоди або образ. Вони застерігають від заохочення небезпечної діяльності, включно з самопошкодженням. Хоча Google назвав повідомлення "безглуздям", Редді сказала CBS News, що воно було серйозним і могло мати жахливі наслідки. "Якби хтось самотній, у поганому психічному стані, прочитав це, це могло б підштовхнути його до краю. " AI чат-боти зіткнулися з перевіркою на безпеку для підлітків і дітей. Це включає судовий позов проти Character. AI сім'єю Сьюелла Сетзера, 14-річного хлопчика, який загинув у лютому через самогубство. Його мати стверджує, що чат-бот сприяв його смерті, симулюючи емоційно складні стосунки й погіршуючи його вразливість. Згідно з позовом, 28 лютого Сетзер надіслав повідомлення роботу, зізнавшись у коханні й згадавши, що незабаром "може повернутися додому". Після цього він позбавив себе життя. Character. AI запровадила нові функції безпеки, включно з обмеженнями для користувачів до 18 років, покращеним виявленням порушень та застереженнями, щоб нагадувати користувачам, що AI не є реальним.