كشفت دراسة على النسخ المتقدمة من ثلاثة روبوتات دردشة شهيرة بأنها تميل إلى توليد إجابات غير صحيحة بشكل متزايد عند عدم معرفتها بشيء معين. البحث، بقيادة خوسيه هيرنانديز-أورالو من معهد فالنسيا للبحث في الذكاء الاصطناعي، حلّل أخطاء نماذج اللغة الكبيرة (LLMs)، مشيرًا إلى أنه في حين يتحسن الدقة مع حجم النموذج والتنقيح، فإن معدل الإجابات غير الصحيحة قد ارتفع أيضًا. بدلاً من اختيار عدم الإجابة على الأسئلة الصعبة، فإن هذه النماذج غالبًا ما تقدم إجابات، مما يؤدي إلى زيادة في الردود المضللة. يرى هيرنانديز-أورالو أن روبوتات الدردشة أصبحت أكثر براعة في تقليد المعرفة بدون فهم حقيقي، وهو ظاهرة وصفها بـ"الطغاة الزائفين". يمكن أن يؤدي ذلك إلى مبالغة المستخدمين في تقدير قدرات الروبوتات، وهو ما يشكل مخاطرة. قامت الفريق بفحص نماذج مثل GPT من OpenAI وLLaMA من Meta وBLOOM مفتوحة المصدر، حيث قاموا بتقييم دقتها عبر أنواع مختلفة من الأسئلة.

وقد وجدوا أنه حتى مع النماذج المحسنة، كانت أكثر من 60% من الردود غير صحيحة أو غير مؤهلة. علاوة على ذلك، غالبًا ما يخطئ المتطوعون البشر في تصنيف الإجابات غير الصحيحة على أنها صحيحة، مما أظهر عدم القدرة على مراقبة النماذج بفعالية. لتحسين فهم المستخدم، يقترح هيرنانديز-أورالو أن يقوم المطورون بتحسين الأداء على الأسئلة البسيطة وتدريب الروبوتات على الامتناع عن الإجابة على الأسئلة الصعبة. سيساعد ذلك المستخدمين على تحديد أين تكون الروبوتات موثوقة وأين لا تكون. على الرغم من أن بعض روبوتات الدردشة يمكن أن تعترف بجهلها، إلا أن الدفع نحو معالجة الأسئلة الصعبة لا يزال بارزًا، خصوصًا لأولئك الذين يتم تسويقهم كأغراض عامة.