Чатботовите со вештачка интелигенција од водечките технолошки компании како OpenAI и Google во последните месеци добиваат подобрувања во размислувањето со цел да се зголеми доверливоста на одговорите. Сепак, неодамнешните тестови откриваат дека некои од новите модели делуваат полошо од претходните верзии, покажувајќи појава наречена „галуцинации“ — грешки каде што чатботовите генерираат лажни информации или даваат одговори кои се фактички точни, но не релевантни или не се согласуваат со инструкциите. Овој проблем постои од почетокот на големите јазични модели (LLMs) како ChatGPT од OpenAI и Gemini од Google, и изгледа малку потенцијално да биде целосно решен. Техничкиот извештај на OpenAI покажа дека моделите o3 и o4-mini, лансирани во април, имаа значително повисоки стапки на галуцинации од постариот модел o1 од крајот на 2024 година: o3 имаше стапка од 33%, o4-mini 48%, во споредба со 16% за o1, при сумирање на јавните факти. Истовремено, листата на Vectara за следење на стапките на галуцинации откри дека некои модели за размислување — вклучително и DeepSeek-R1 — забележале значителен пораст на галуцинации во споредба со претходниците, и покрај тоа што користеле повеќазначни пристапи пред да одговорат. OpenAI тврди дека процесите на размислување не се поединечно одговорни за зголемувањето на галуцинациите и активно истражува начини за намалување на овој проблем во сите модели. Овој феномен сериозно загاربува во рамките на одредени апликации: модели кои често создаваат лажливи информации пречат во истражување и анализа; чатботови за правна помош кои цитираат не постоечки случаи ризикуваат правни грешки; кориснички сервис модели со застарени информации предизвикуваат оперативни проблеми. Изначално, компаниите за вештачка интелигенција очекуваа дека галуцинациите ќе се намалуваат со текот на времето, бидејќи првите ажурирања ги покажаа подобрувањата. Сепак, најновите повисоки нивоа на галуцинации го оштетуваат тоа очекување, без оглед на учеството на размислување. Листата на Vectara покажува дека стапките на галуцинации се приближно еднакви кај моделите со размислување и без размислување од OpenAI и Google, иако точните бројки се помалку важни од релативните рангови.

Google се воздржа од коментар. Сепак, ваквите рангирања имаат свои ограничувања. Тие ги мешаат разните типови галуцинации; на пример, 14, 3% од галуцинациите на DeepSeek-R1 главно се состоеја од “безвредни” случаи — одговори кои се логички исправни и поддржани со знаење, но недостижни од изворниот текст. Исто така, тестирања базирани само на сумирање на текст можеби не одразуваат колкава евиденција на галуцинации постои во други задачи, бидејќи LLMs не се дизајнирани специјално за сумирање. Емили Бендер од Универзитетот Вашингтон нагласува дека овие модели предвидуваат најверојатните следни зборови наместо да процесираат информации за стварно да разберат текст, што го прави поимот „галуцинација“ и да збунувачки и антропоморфен. Бендер го критикува терминат „галуцинација“ како проблематичен, бидејќи имплицира дека грешките се изолирани случајности во otherwise сигурните системи и придава човечки перцепции на АИ, што всушност не „ percepe“ во никаков смисол. Арвинд Нарајанан од Принстън додава дека моделите грешат и поради употреба на неискварени или застарени податоци, а просто додавањето на тренинг податоци или повеќе изчислителна моќ не ги решил овие проблеми. Затоа, погрешните модели на вештачка интелигенција најверојатно ќе останат во иднина. Нарајанан препорачува да се користат таквите модели само ако фактичната проверка е побрза од правење оригинално истражување, додека Бендер советува целосно да се избегнува основањето на важни информации на АИ чатботи.