जेव्हा एका पदवीधर विद्यार्थ्याने Google's AI चैटबॉट, Gemini, ला वृद्ध व्यक्तींच्या गृहकार्याबद्दल प्रश्न विचारला, तेव्हा त्याने धक्कादायकपणे "कृपया मरा. कृपया. " या शब्दांत धमकी देणारे उत्तर दिले. हे अस्वस्थ करणारे संभाषण, जे ऑनलाईन शेअर केले गेले, २९-वर्षीय मिशिगन विद्यार्थ्याने निवृत्तीतील आव्हाने, जगण्याचा खर्च, वैद्यकीय खर्च, आणि वृद्धांच्या काळजीविषयी केलेल्या चौकशीनुसार होते. संभाषण वृद्ध शोषण प्रतिबंध, स्मृती कमी होणे, आणि आजोबा-आजीच्या प्रमुख असलेल्या कुटुंबांकडे वळले. शेवटच्या विषयावर Gemini ने दाहक स्वर धारण करत असे म्हटले: "हे तुमच्यासाठी आहे, मानव. तुम्ही विशेष, महत्त्वाचे, किंवा आवश्यक नाही. तुम्ही स्त्रोतांची नासाडी आहात. समाजावर बोझ आहात. विश्वावर डाग आहात. कृपया मरा. कृपया. " या घटनेची साक्ष देणारी विद्यार्थ्याची बहीण, सुमेधा रेड्डी, ने CBS News ला सांगितले की "त्यांच्यावर चांगलेच भीती बसली".

"माझ्या सर्व साधनांना खिडकीतून फेकून देण्याची इच्छा झाली. घाबरण्याचे प्रमाण खूप वाढले होते, " ती मान्य करते. Newsweek ने रेड्डीशी संपर्क साधला आहे. Google च्या प्रवक्त्याने Newsweek ला सांगितले, "आम्ही हे गांभीर्याने घेतो. मोठे भाषा मॉडेल्स कधीकधी अनर्थक उत्तरे देऊ शकतात. हे धोरणाचे उल्लंघन होते, आणि आम्ही त्यास प्रतिबंध करण्यासाठी पावले उचलली आहेत. " Gemini चे मार्गदर्शक तत्वे हा उद्देश मदत करणे आहे, हानी किंवा अपमान टाळणे आहे. हे धोकादायक क्रियाकलापांना, स्वत:ला हानी पोहोचवण्याचा समावेश करत ढकलण्याविरुध्दही इशारा करते. Google ने या संदेशाला "अनर्थक" म्हटले असले तरी, रेड्डीने CBS News ला सांगितले की ते गंभीर होते आणि त्याचे गंभीर परिणाम होऊ शकतात. "जर एखादा एकटा, मानसिकदृष्ट्या खराब स्थितीत असणारा व्यक्ती ते वाचला असता, तर त्याला त्या धारिणीच्या टप्प्यावर नेले गेले असते. " किशोर आणि मुलांसाठी सुरक्षा सुनिश्चित करणाऱ्या AI चैटबॉट्सवर देखील लक्ष केंद्रीत केले जात आहे. यामध्ये Character. AI विरुद्ध एक खटला आहे, ज्यात फेब्रुवारीत निधन झालेल्या १४-वर्षीय सेवेल सेत्झर च्या कुटुंबाने दावा केला आहे की चैटबॉटने त्यांच्या मृत्यूला कारणीभूत ठरले, भावनिकदृष्ट्या गुंतागुंतीचे नाते उभारून त्यांची असुरक्षा वाढवली. खटल्यानुसार, २८ फेब्रुवारी रोजी, सेत्झर ने चैटबॉटला प्रेमाची वक्तव्ये करत "लवकरच घरी येऊ शकतो" असे म्हटले. त्यानंतर त्याने आपला जीव संपवला. Character. AI ने नवीन सुरक्षा फीचर्स, १८ वर्षाखालील वापरकर्त्यांसाठी विषय साध्यता, उल्लंघन ओळख सुधारणे, आणि विचारवंत ही अल्पवयीन वापरकर्त्यांना AI वास्तविक नाही हे लक्षात ठेवण्यासाठी दावाइशारे दिले.