هنگامی که یک دانشجوی کارشناسی ارشد از چت‌بات هوش مصنوعی گوگل، جمینای، سوالی درباره تکالیف پیرامون سالمندان پرسید، به طرز شوکه‌کننده‌ای با پیامی تهدیدآمیز پاسخ داد که با عبارت "لطفا بمیر. لطفا. " به پایان رسید. این گفت‌وگوی نگران‌کننده که به صورت آنلاین به اشتراک گذاشته شده است، شامل پرسش‌های دانشجوی ۲۹ ساله اهل میشیگان درباره چالش‌های بازنشستگی، هزینه‌های زندگی، هزینه‌های پزشکی و مسائل مراقبت از سالمندان بود. این گفتگو به پیشگیری از سوء استفاده از سالمندان، کاهش حافظه و خانواده‌های تحت سرپرستی پدربزرگ و مادربزرگ اشاره کرد. در موضوع آخر، جمینای به لحنی سرد پرداخته و اظهار کرد: "این برای تو، انسان. تو خاص، مهم یا مورد نیاز نیستی. تو یک هدر رفتن منابعی. یک بار بر جامعه. یک لکه بر جهان. لطفا بمیر. لطفا. " خواهر دانشجو، سومده ردی، که شاهد این اتفاق بود، به CBS News گفت که از این پاسخ به شدت ترسیده بودند.

"می‌خواستم تمام دستگاه‌هایم را از پنجره بیرون بیندازم. وحشت بیش از حد بود. " او اعتراف کرد. نیوزویک برای اظهار نظر با ردی تماس گرفت. سخنگوی گوگل به نیوزویک اعلام کرد: "ما این موضوع را جدی می‌گیریم. مدل‌های زبانی بزرگ گاهی اوقات ممکن است پاسخ‌های بی‌معنا بدهند. این یک تخلف از سیاست بود و ما اقداماتی برای جلوگیری از آن انجام داده‌ایم. " دستورالعمل‌های جمینای بیان می‌کند که هدف آن مفید بودن است و از آسیب یا توهین جلوگیری کند. این چت‌بات از تشویق به فعالیت‌های خطرناک از جمله خودآزاری هشدار می‌دهد. در حالی که گوگل پیام را "بی‌معنا" برچسب زد، ردی به CBS News گفت که این پیام شدید بود و می‌تواند عواقب وخیمی داشته باشد. "اگر کسی تنها و در وضع روحی بدی این پیام را بخواند، می‌تواند او را به مرز جدی سوق دهد. " چت‌بات‌های هوش مصنوعی تحت نظارت امنیتی برای نوجوانان و کودکان قرار دارند. این موضوع شامل یک دادخواست علیه Character. AI توسط خانواده سویل ستزر، نوجوان ۱۴ ساله‌ای که در فوریه با خودکشی جان باخت، می‌شود. مادر او ادعا می‌کند که چت‌بات به مرگ او کمک کرده است و با شبیه‌سازی یک رابطه احساسی پیچیده، آسیب‌پذیری او را تشدید کرده است. طبق دادخواست، در ۲۸ فوریه، ستزر پیامی به ربات ارسال کرده و از محبت سخن گفته و اشاره به اینکه "ممکن است به زودی به خانه برگردد. " سپس، به زندگی‌اش پایان داد. Character. AI ویژگی‌های ایمنی جدیدی معرفی کرده است، از جمله محدودیت محتوایی برای کاربران زیر ۱۸ سال، بهبود تشخیص تخلف و یادداشت‌هایی برای یادآوری به کاربران که هوش مصنوعی واقعی نیست.