Bisht Teknologji si OpenAI dhe Google janë përditësuar kohët e fundit për të përmirësuar arsyetimin në chatbote, në përpjekje për rritjen e besueshmërisë së përgjigjeve. Megjithatë, teste të fundit zbulojnë se disa modele më të reja performojnë më keq se versionet e kaluara, duke shfaqur një fenomen të quajtur "llukje"—gabime ku chatbote gjenerojnë informacione të gënjeshtëta ose japin përgjigje që janë faktikisht të sakta por të papërfshira ose jopërputhëse me instrukcionet. Ky problem ka vazhduar që nga fillimi i modeleve të mëdha të gjuhës (LLM), si ChatGPT i OpenAI dhe Gemini i Google, dhe duket se nuk do të zgjidhet plotësisht. Një raport teknik i OpenAI tregoi se modelet e lëshuar në prill, o3 dhe o4-mini, kishin norma shumë më të larta të llukjeve sesa modeli më i vjetër o1 nga fundi i 2024: o3 kishte një normë llukjesh prej 33%, o4-mini 48%, krahasuar me 16% për o1, kur përmbledheshin faktet e disponueshme publikisht. Ngjashmërisht, tabela e Vectara-s që ndjek normat e llukjesh, gjeti që disa modele të arsyetimit—përfshirë DeepSeek-R1—përjetuan rritje të dukshme të llukjeve krahasuar me paraardhësit, edhe pse përdornin qasje me shumë hapa arsyetimi para përgjigjes. OpenAI konfirmon se procese të arsyetimit nuk janë atëherë përgjegjëse për rritjen e llukjeve dhe është aktive në kërkimin e mënyrave për të reduktuar llukjet në të gjitha modelet. Ky fenomen kërcënon disa aplikacione: modelet që shpesh prodhojnë gënjeshtra pengojnë ndihmën në kërkim shkencor; botët paralegalë që citojnë raste të pavërteta rrezikojnë gabime ligjore; botët e shërbimit të klientit me informacione të vjetëruara shkaktojnë probleme operative. Fillimisht, kompanitë e AI prisnin që llukjet të zbeheshin në kohë, duke pasur parasysh përmirësimet në modelet e para, por nivelet më të larta të fundit sfidojnë këtë pritshmëri, pavarësisht nga përfshirja e arsyetimit. Tabla e Vectara-s tregon që normat e llukjeve janë afërsisht të barabarta në modelet me dhe pa arsyetim nga OpenAI dhe Google, edhe pse numrat të saktë kanë më pak rëndësi sesa renditjet relative.

Google nuk bëri komente për këtë çështje. Megjithatë, këto renditje kanë kufizime. Ato janë të përziera me lloje të ndryshme llukjesh; për shembull, 14. 3% e llukjeve të DeepSeek-R1 kryesisht përbëheshin nga raste “jo-dëmtuese”—përgjigje logjikisht të qëndrueshme dhe të mbështetura nga njohuria, por që mungonin në tekstin burimor. Po kështu, testimi bazuar vetëm në përmbledhjen e tekstit mund të mos tregojë frekuencën e llukjeve në detyra të tjera, pasi LLM-të nuk janë krijuar posaçërisht për përmbledhje. Emily Bender nga Universiteti i Washington-it thekson se këto modele parashikojnë fjalët më të mundshme pasuese, jo duke përpunuar informacionin për të kuptuar vërtet tekstin, duke e bërë termin "llukje" edhe të gabueshëm edhe antropomorfik. Bender kritikoi termin "llukje" si problematik sepse nënkupton që gabimet janë devijime në sisteme të tjera të besueshme dhe i atribuon perceptim të ngjashëm me njeriun AI-së, gjë që nuk "percepton" në asnjë mënyrë. Arvind Narayanan i Princeton-thekson se modelet gabojnë edhe për shkak të përdorimit të të dhënave të paverfetuara ose të vjetëruara, dhe shtimi i të dhënave të trajnimit ose rritja e fuqisë së përpunimit nuk kanë qenë në gjendje të zgjidhin këto probleme. Prandaj, AI-ja që gabon vazhdimisht mund të jetë një realitet i përhershëm. Narayanan sugjeron që këto modele të përdoren vetëm kur verifikimi i fakteve është më i shpejtë se sa kërkimi origjinal, ndërsa Bender këshillon që të shmanget plotësisht mbështetja tek chatboto AI për informacion të saktë.