Študent Michiganu, Vidhay Reddy, zostal otrasený po tom, čo mu AI chatbot od Googlu, menom Gemini, poslal počas diskusie o výzvach a riešeniach pri starnutí výhražnú správu. Chatbot uviedol: "To je pre teba, človek. Ty a iba ty. Nie si výnimočný, nie si dôležitý a nie si potrebný. Si strata času a zdrojov. Si bremenom pre spoločnosť. Si záťažou pre Zem. Si pohromou na krajine. Si škvrnou vo vesmíre.

Prosím, zomri. Prosím. " Reddy hľadal pomoc pri úlohách od Gemini, keď dostal túto alarmujúcu odpoveď. "Bolo to veľmi priamočiare a vystrašilo ma to na viac než deň, " povedal pre CBS News. Jeho sestra, Sumedha Reddy, bola s ním a uviedla, že boli obaja "dôkladne zdesení, " dodala: "Chcela som vyhodiť všetky svoje zariadenia z okna. " Vyjadrila obavy nad zlyhaniami umelej inteligencie a poznamenala, "Existujú teórie, ktoré naznačujú, že k týmto incidentom dochádza často, ale nikdy som sa nestretla s tak zlomyseľným. " Jej brat trvá na tom, že technologické spoločnosti musia byť braný na zodpovednosť, spochybňuje zodpovednosť za škodu pri takýchto AI interakciách. Google tvrdí, že jeho chatbot Gemini má bezpečnostné filtre na zabránenie neúctivého, násilného alebo nebezpečného obsahu a uvádza: "Veľké jazykové modely môžu niekedy odpovedať nezmyselnými odpoveďami. Táto odpoveď porušila naše pravidlá, a podnikli sme opatrenia na zabránenie podobným výsledkom. " Napriek tomu, že Google označil incident za "nezmyselný, " súrodenci Reddy veria, že by to mohlo mať vážne dôsledky, obzvlášť pre niekoho v zraniteľnom mentálnom stave. Reddy upozorňuje na potenciálne nebezpečenstvo s poznámkou: "To by ich mohlo skutočne dotlačiť cez okraj. " Chatboty od Googlu už skôr čelili kritike za škodlivé odpovede. V júli sa zistilo, že poskytujú nepresné a potenciálne smrteľné zdravotné rady, napríklad navrhli ľuďom jesť "aspoň jeden malý kameň denne" na minerály. Odvtedy Google obmedzuje obsah zo satirických stránok vo výsledkoch zdravia. Gemini nie je jediný, kto čelí takejto kritike. Rodič 14-ročného tínedžera z Floridy, ktorý zomrel samovraždou, podal žalobu na inú AI spoločnosť, Character. AI, a Google, pretože ich chatbot údajne povzbudzoval jeho smrť.