Chatboty AI od czołowych firm technologicznych, takich jak OpenAI i Google, w ostatnich miesiącach otrzymywały ulepszenia w zakresie rozumowania, mające na celu zwiększenie wiarygodności odpowiedzi. Jednak najnowsze testy ujawniają, że niektóre nowsze modele wypadają gorzej niż wcześniejsze wersje, wykazując zjawisko zwane „halucynacjami” — błędy, w których chatboty generują fałszywe informacje lub udzielają odpowiedzi, które są poprawne merytorycznie, ale nieadekwatne lub niezgodne z instrukcjami. Problem ten utrzymuje się od czasów powstania dużych modeli językowych (LLM), takich jak ChatGPT od OpenAI czy Gemini od Google, i wydaje się mało prawdopodobne, aby został całkowicie rozwiązany. Raport techniczny OpenAI ujawnił, że modele o nazwach o3 i o4-mini, wypuszczone w kwietniu, wykazywały znacznie wyższy wskaźnik halucynacji niż starszy model o1 z końca 2024 roku: o3 miał współczynnik halucynacji 33%, o4-mini 48%, podczas gdy o1 tylko 16%, przy podsumowywaniu dostępnych publicznie faktów. Podobnie, ranking Vectary monitorujący wskaźniki halucynacji wykazał, że niektóre modele rozumowania — w tym DeepSeek-R1 — odnotowały znaczne wzrosty halucynacji w porównaniu z wcześniejszymi wersjami, mimo zastosowania wieloetapowego rozumowania przed udzieleniem odpowiedzi. OpenAI twierdzi, że procesy rozumowania same w sobie nie są przyczyną wzrostu halucynacji i aktywnie poszukuje sposobów na ich ograniczenie we wszystkich modelach. Utrzymujące się halucynacje zagrażają wielu zastosowaniom: modele, które często generują fałszywe informacje, utrudniają pomoc naukową; chatboty prawnicze cytujące nieistniejące orzeczenia mogą powodować błędy prawne; boty obsługi klienta z nieaktualnymi danymi wywołują problemy operacyjne. Na początku firmy zajmujące się sztuczną inteligencją oczekiwały, że halucynacje będą z czasem maleć, ponieważ pierwsze aktualizacje modeli przynosiły poprawę. Jednak niedawne wyższe poziomy halucynacji kwestionują te przypuszczenia, niezależnie od zaangażowania rozumowania. Ranking Vectary pokazuje, że wskaźniki halucynacji są mniej więcej równe w modelach rozumujących i nierozumujących zarówno od OpenAI, jak i Google, choć liczbowa dokładność jest mniej istotna od pozycji względem siebie.

Google odmówił komentarza. Należy jednak pamiętać, że takie rankingi mają ograniczenia. Mieszają różne rodzaje halucynacji; na przykład, w przypadku DeepSeek-R1, 14, 3% wskaźnika halucynacji obejmowało głównie „niewinne” przypadki — odpowiedzi, które są logicznie poprawne i poparte wiedzą, ale nie występują w tekście źródłowym. Ponadto, testy oparte wyłącznie na streszczeniu tekstu mogą nie odzwierciedlać częstotliwości halucynacji w innych zadaniach, ponieważ LLM-y nie są specjalnie zaprojektowane do streszczania. Emily Bender z Uniwersytetu Waszyngtońskiego podkreśla, że te modele przewidują najbardziej prawdopodobne kolejne słowa, zamiast przetwarzać informacje w celu ich dogłębnego zrozumienia, co czyni termin „halucynacje” mylący i antropomorficzny. Bender krytykuje „halucynacje” jako problemowe, bo sugerują, że błędy są odchyleniami od rzetelności systemu, i przypisują sztucznej inteligencji percepcję ludzkiego rodzaju, co jest nieuprawnione, bo AI nie „percepuje” w żadnym sensie. Arvind Narayanan z Princeton dodaje, że modele popełniają błędy także przez poleganie na niepewnych lub przestarzałych danych, a dodawanie tylko większej ilości danych treningowych czy mocy obliczeniowej nie rozwiązało tych problemów. W konsekwencji, AI podatna na błędy może być trwałym faktem. Narayanan sugeruje korzystanie z takich modeli tylko wtedy, gdy weryfikacja faktów jest szybsza niż własne poszukiwania, podczas gdy Bender zaleca całkowite unikanie polegania na chatbotach AI jako źródle faktów.