لقد شهدت روبوتات الدردشة المدعومة بالذكاء الاصطناعي من الشركات التقنية الرائدة مثل أوبن إيه آي وجوجل تحسينات في قدراتها على الاستنتاج خلال الأشهر الأخيرة بهدف تعزيز موثوقية الإجابات. ومع ذلك، كشفت الاختبارات الأخيرة أن بعض النماذج الأحدث أداؤها أسوأ من الإصدارات السابقة، مع ظهور ظاهرة تُعرف بـ "الهلاوس"—وهي أخطاء حيث ينتج الروبوت معلومات كاذبة أو يقدم إجابات صحيحة من حيث الحقيقة لكنها غير ذات صلة أو غير متوافقة مع التعليمات. وهذه المشكلة مستمرة منذ نشأة نماذج اللغة الكبيرة (LLMs) مثل ChatGPT من أوبن إيه آي و Gemini من جوجل، ويبدو من غير المحتمل أن تُحَل تمامًا. أظهر تقرير فني من أوبن إيه آي أن نماذجها o3 و o4-mini التي أُطلقت في أبريل كانت تُظهر معدلات هلاوس أعلى بكثير من النموذج الأقدم o1 من نهاية عام 2024؛ حيث كانت نسبة الهلاوس في o3 33%، وفي o4-mini 48%، مقارنة بـ 16% فقط في o1 عند تلخيص حقائق متاحة للجميع. وبالمثل، أظهر تتبع تصنيفات الترتيب في Vectara أن بعض نماذج الاستنتاج، بما في ذلك DeepSeek-R1، شهدت زيادات ملحوظة في الهلاوس مقارنةً بسابقتها، على الرغم من اعتمادها على منهجية الاستنتاج متعدد الخطوات قبل الإجابة. تؤكد شركة أوبن إيه آي أن عمليات الاستنتاج ليست سببًا جوهريًا لزيادة الهلاوس، وهي تواصل البحث بنشاط عن طرق لتقليل هذه الظاهرة في جميع النماذج. إن استمرار وجود الهلاوس يهدد عدة تطبيقات: فالنماذج التي تنتج أكاذيب بشكل متكرر تعوق البحث العلمي؛ والبوتات القانونية التي تستشهد بدعاوى غير موجودة تعرض الأخطاء القانونية؛ وخدمة العملاء التي تعتمد على معلومات قديمة تسبب مشاكل تشغيلية. في البداية، كانت شركات الذكاء الاصطناعي تتوقع أن تتقلص الهلاوس مع مرور الزمن، إذ أظهرت تحديثات النماذج المبكرة تحسنًا. ومع ذلك، فإن المستويات المرتفعة مؤخرًا من الهلاوس تتحدى تلك التوقعات، بغض النظر عن دور الاستنتاج. تُظهر تصنيفات Vectara أن معدلات الهلاوس تكاد تكون متساوية بين النماذج التي تعتمد على الاستنتاج وأخرى لا، سواء من أوبن إيه آي أو جوجل، على أن الأرقام الدقيقة أقل أهمية من الترتيب النسبي.

ورفضت جوجل التعليق على الأمر. لكن، توجد قيود على مثل هذه التصنيفات. فهي تمزج بين أنواع مختلفة من الهلاوس؛ على سبيل المثال، فإن معدل هلاوس DeepSeek-R1 البالغ 14. 3% يتكون في الغالب من حالات "حميدة" — إجابات منطقية ومدعومة بالمعرفة لكنها غير موجودة في النص المصدر. علاوة على ذلك، فإن الاختبار الذي يعتمد فقط على تلخيص النص لا يعكس بالضرورة تكرار الهلاوس في مهام أخرى، إذ إن نماذج اللغة الكبيرة ليست مصممة خصيصًا للتلخيص. تؤكد إيمل بيدر من جامعة واشنطن أن هذه النماذج تتوقع الكلمات التالية المحتملة أكثر من معالجتها للمعلومات لفهم النص بشكل حقيقي، مما يجعل مصطلح "الهلاوس" مضللًا وله طابع أنثروبومورفي. تنتقد بيدر مصطلح "الهلاوس" بأنه سلبي لأنه يوحي أن الأخطاء استثنائية في أنظمة موثوقة، ويُعطي الذكاء الاصطناعي تصورًا بشريًا، وهو أمر غير صحيح لأنه لا "يدرك" بأي معنى من المعاني. يضيف أروند ناراناهان من جامعة برينستون أن النماذج تخطئ أيضًا لأنها تعتمد على بيانات غير موثوقة أو قديمة، وأن مجرد إضافة بيانات تدريب أو زيادة القدرات الحاسوبية لم تحل هذه المشاكل. وبالتالي، قد يكون الذكاء الاصطناعي المعتمد على الأخطاء واقعًا مستدامًا. يقترح ناراناهان أن نستخدم مثل هذه النماذج فقط عندما يكون التحقق من الحقائق أسرع من القيام بالبحث الأصلي، في حين توصي بيدر بعدم الاعتماد على روبوتات الدردشة المعتمدة على الذكاء الاصطناعي كمصدر رئيسي للمعلومات factual.