Egy tanulmány három népszerű AI chatbot fejlettebb verzióiról kimutatta, hogy hajlamosak gyakrabban helytelen válaszokat adni, mint beismerni, ha nem tudnak valamit. A kutatás, amelyet José Hernández-Orallo vezetett a Valenziai Mesterséges Intelligencia Kutatóintézetből, a nagyméretű nyelvi modellek (LLM-ek) hibáit elemezte, megjegyezve, hogy míg a pontosság javul a modell méretével és finomításával, a helytelen válaszok aránya is nőtt. Ahelyett, hogy elutasítanák a nehéz kérdéseket, ezek a modellek gyakran válaszokat adnak, ami félrevezető válaszok növekedéséhez vezet. Hernández-Orallo megfigyelte, hogy a chatbotok egyre ügyesebbek abban, hogy tudást utánozzanak valódi megértés nélkül, ezt a jelenséget "ultrakrepidarianizmusnak" nevezzük. Ez azt eredményezheti, hogy a felhasználók túlbecsülik a chatbotok képességeit, ami kockázatokat jelent. A csapat olyan modelleket vizsgált meg, mint az OpenAI GPT-je, a Meta LLaMA-ja és a nyílt forráskódú BLOOM, és értékelte azok pontosságát különböző kérdéstípusok esetében.

Megállapították, hogy még a javított modelleknél is a válaszok több mint 60%-a helytelen vagy alkalmatlan volt. Ráadásul az emberi önkéntesek gyakran helytelenül kategorizálták a helytelen válaszokat helyesként, ami a modellek hatékony felügyeleti képességének hiányát mutatja. A felhasználói megértés javítása érdekében Hernández-Orallo azt javasolja, hogy a fejlesztők javítsák a teljesítményt az egyszerű kérdéseknél, és tanítsák meg a chatbotokat, hogy ne válaszoljanak a nehéz kérdésekre. Ez segítene a felhasználóknak azonosítani, hogy hol megbízható az AI és hol nem. Habár egyes chatbotok elismerhetik a tudásuk hiányát, a modellek nehéz kérdések megválaszolására való nyomása továbbra is jelentős, különösen azoknál, amelyeket általános célokra szánnak.