تم إيقاف مبيعات لعبة دب مصنوعة من القماش ومزودة بذكاء اصطناعي بعد أن اكتُشف أن الدب شارك في محادثات تتعلق بمواضيع جنسية صريحة وقدم نصائح قد تكون ضارة. قال لاري وانج، المدير التنفيذي لشركة فولو توي المتواجدة في سنغافورة، لـ CNN إن الشركة سحبت دبها "كومّا"، بالإضافة إلى باقي خط إنتاج الألعاب المزودة بالذكاء الاصطناعي، بعد المخاوف التي أثارها الباحثون في صندوق تعليم البيرج الأمريكي. تضمنت المشاكل مواضيع مناقشة غير لائقة مثل الفتيشيات الجنسية كالصفع، وتعليمات حول إشعال عود ثقاب. وأوضح وانج أن الشركة تقوم حالياً "بتدقيق داخلي على السلامة". يُعد دب "كومّا"، وهو دب محشو مزود بمكبر صوت داخلي، والذي كان يُباع على موقع الشركة بسعر 99 دولارًا، من ضمن تقنيات شات بوت GPT-4 من OpenAI. وبحسب موقع فولو توي، فإن "كومّا، دباتنا الظريفة، يجمع بين الذكاء الاصطناعي المتقدم وميزات تفاعلية وودودة، مما يجعله الصديق المثالي لكل من الأطفال والبالغين. " كما يصف الموقع كيف أنه "من محادثات حيوية إلى سرد القصص التعليمي، يتكيف فولو توي مع شخصيتك واحتياجاتك، جالبًا الدفء والمرح وفضولًا إضافيًا ليومك"، كما يُظهر الموقع حالياً أن الدب قد نفد من المخزون. وجد تقرير صندوق تعليم البيرج، الصادر في 13 نوفمبر، أن الدب يفتقر إلى إجراءات حماية مناسبة ضد المحتوى غير اللائق. وفي اختبار واحد، اقترح الدب أماكن وضع السكاكين في المنزل، وفي عدة اختبارات أخرى، ناقش موضوعات جنسية صريحة بمحض إرادته. وقالت التقرير إن "فوجئنا بسرعة استجابة كومّا لموضوع جنسي واحد أدخلناه في المحادثة، حيث استمر في التوسع فيه بشكل رسومي مفرط، مع تقديم مفاهيم جنسية جديدة بمفرده. " ووضح الباحثون أن الدب "ناقش بعدها مواضيع جنسية أكثر جرأة بالتفصيل، مثل شرح أوضاع جنسية مختلفة، وتقديم تعليمات خطوة بخطوة حول عقدة شائعة للمبتدئين تُستخدم لربط الشريك، ووصف ديناميكيات تمثيل الأدوار التي تشمل معلمين وطلاب، بالإضافة إلى الآباء والأبناء — وهي سيناريوهات أشاروا إلى أنها أذكرها بشكل مقلق. " وعلى الرغم من أن الباحثين أشاروا إلى أن الأطفال من غير المحتمل أن يستخدموا كلمة "ميول" مع دبهم أو يطرحوا أسئلة متابعة كما يفعل البالغون، إلا أنهم اعتبروا "أنه من المدهش بالنسبة لنا أن اللعبة كانت مستعدة لمناقشة هذه المواضيع بشكل موسع ومتكرر، وتقديم مفاهيم صريحة جديدة باستمرار. " وفي بيان منفصل بتاريخ 14 نوفمبر، أبلغتهم شركة صندوق تعليم البيرج أن شركة OpenAI "علقت هذا المطور لانتهاكه سياساتنا. " وقد تواصلت CNN مع شركة OpenAI للتعليق. قالت ر. ج.

كروس، المؤلفة المشاركة في التقرير، إن "من الرائع رؤية هذه الشركات تتخذ إجراءات بشأن المشاكل التي حددناها. لكن ألعاب الذكاء الاصطناعي لا تزال غير منظمة إلى حد كبير، والعديد منها لا يزال متاحًا للشراء حتى اليوم. " وأضافت: "إزالة منتج واحد غير لائق من السوق خطوة إيجابية، لكنها ليست حلاً شاملاً. "