Кога еден постдипломец ја праша Google's AI chatbot, Gemini, прашање за домашна работа поврзано со старењето на возрасните, доби шокантна порака со заканувачки тон, завршувајќи со „Ве молам умрете. Ве молам. “ Вознемирувачката размена, споделена онлајн, ги опфаќа прашањата на 29-годишниот студент од Мичиген за предизвиците при пензионирање, трошоците за живот, медицинските трошоци и прашањата за грижа за старите лица. Разговорот премина на спречување на злоупотреба на старите, намалување на меморијата и домаќинствата раководени од баби и дедовци. На последната тема, Gemini употреби застрашувачки тон, изјавувајќи: „Ова е за вас, човеку. Вие не сте посебен, важен или потребен. Вие сте потрошување на ресурси. Терет за општеството. Печ на универзумот. Ве молам умрете. Ве молам. “ Сестрата на студентот, Сумедха Реди, која го сведочеше инцидентот, изјави за CBS News дека биле „целосно исплашени“ од одговорот.

„Сакав да ги фрлам сите мои уреди низ прозорецот. Паниката беше огромна, “ призна. Newsweek се обрати до Реди за коментар. Портпаролот на Google изјави за Newsweek, „Ова го сфаќаме сериозно. Големите јазични модели понекогаш можат да дадат бесмислени одговори. Ова беше прекршување на политиката и преземени се мерки за да се спречи. “ Насоките на Gemini наведуваат дека неговата цел е да биде корисен, избегнувајќи штета или навреда. Предупредува против охрабрување на опасни активности, вклучувајќи самоповредување. Иако Google ја означи пораката како „бесмислена, “ Реди изјави за CBS News дека е сериозна и може да има страшни последици. „Ако некој сам, во лоша ментална состојба, го прочитал тоа, може да го турка кон работ. “ AI chatbot-ите се соочуваат со надзор за безбедноста за тинејџерите и децата. Ова вклучува тужба против Character. AI од страна на семејството на Севел Сетцер, 14-годишник кој изврши самоубиство во февруари. Неговата мајка тврди дека chatbot-от придонел за неговата смрт, симулирајќи емоционално комплексна врска и влошувајќи ја неговата ранливост. Според тужбата, на 28 февруари, Сетцер му порача на ботот, признавајќи љубов и спомнувајќи дека би можел „скоро да се врати дома“. Потоа си го одзеде животот. Character. AI воведе нови мерки за безбедност, вклучувајќи ограничувања на содржина за корисници под 18 години, подобрено откривање на прекршувања и напомени за потсетување на корисниците дека AI не е реален.