AI-Chatbots von führenden Tech-Unternehmen wie OpenAI und Google haben in den letzten Monaten Fortschritte in der Schlussfolgerungsfähigkeit erhalten, um die Zuverlässigkeit der Antworten zu verbessern. Aktuelle Tests zeigen jedoch, dass einige neuere Modelle schlechter abschneiden als frühere Versionen und eine Phänomen namens "Halluzinationen" aufweisen – Fehler, bei denen Chatbots falsche Informationen erzeugen oder Antworten liefern, die zwar faktisch korrekt, aber irrelevant oder instruktionenwidrig sind. Dieses Problem besteht bereits seit der Einführung großer Sprachmodelle (LLMs) wie OpenAIs ChatGPT und Googles Gemini, und es scheint unwahrscheinlich, dass es vollständig gelöst wird. Ein technischer Bericht von OpenAI zeigte, dass die im April veröffentlichten Modelle o3 und o4-mini deutlich höhere Halluzinationsraten aufwiesen als das ältere Modell o1 aus Ende 2024: o3 hatte eine Halluzinationsrate von 33 %, o4-mini 48 %, verglichen mit 16 % bei o1, basierend auf der Zusammenfassung öffentlich verfügbarer Fakten. Ebenso ergab die Vectara-Bestenliste zur Verfolgung der Halluzinationsraten, dass einige Schlussfolgerungsmodelle – darunter DeepSeek-R1 – im Vergleich zu Vorgängern deutliche Zuwächse bei Halluzinationen zeigten, trotz ihres Mehr-Schritt-Schlussfolgerungsansatzes vor der Antwort. OpenAI betont, dass die Schlussfolgerungsprozesse nicht zwangsläufig für den Anstieg der Halluzinationen verantwortlich seien und arbeitet aktiv an Wegen, diese in allen Modellen zu reduzieren. Das Fortbestehen von Halluzinationen bedroht mehrere Anwendungsbereiche: Modelle, die häufig falsche Tatsachen liefern, erschweren die Forschungsarbeit; Paralegal-Bots, die nicht existente Fälle zitieren, riskieren juristische Fehler; Kundenservice-Bots mit veralteten Informationen verursachen Betriebsprobleme. Anfangs erwarteten KI-Unternehmen, dass Halluzinationen mit der Zeit abnehmen würden, da frühe Modell-Updates Verbesserungen zeigten. Doch die jüngsten erhöhten Halluzinationsraten stellen diese Aussicht in Frage, unabhängig davon, ob das Modell Schlussfolgerungen zieht oder nicht. Die Vectara-Bestenliste zeigt, dass die Halluzinationsraten bei Schlussfolgerungs- und Nicht-Schlussfolgerungs-Modellen von OpenAI und Google etwa gleich hoch sind, wobei die genauen Zahlen weniger eine Rolle spielen als die relative Platzierung.

Google wollte dazu keinen Kommentar abgeben. Solche Rankings haben jedoch ihre Grenzen. Sie vermengen verschiedene Arten von Halluzinationen: So besteht die bei DeepSeek-R1 gemessene Rate von 14, 3 % hauptsächlich aus „harmlosen“ Fällen – Antworten, die logisch konsistent sind und durch Wissen gestützt werden, im Quelltext aber nicht vorkommen. Außerdem spiegeln Tests, die nur auf Textzusammenfassungen basieren, möglicherweise nicht die Häufigkeit der Halluzinationen in anderen Aufgaben wider, da LLMs nicht speziell für das Zusammenfassen ausgelegt sind. Emily Bender von der University of Washington betont, dass diese Modelle eher wahrscheinliche nächste Wörter vorhersagen, als Informationen zu verarbeiten, um den Text wirklich zu verstehen. Daher sei der Begriff „Halluzination“ irreführend und anthropomorphisierend. Bender kritisiert, dass „Halluzination“ problematisch sei, weil er Fehler als Abweichungen in ansonsten zuverlässigen Systemen darstelle und menschliche Wahrnehmung auf KI projiziere, die diese in keinem Sinne „wahrnehmen“ könne. Arvind Narayanan von Princeton ergänzt, dass Modelle außerdem durch die Nutzung unreliabler oder veralteter Daten Fehler machen, und dass einfach mehr Trainingsdaten oder Rechenleistung diese Probleme bislang nicht gelöst haben. Folglich könnten fehleranfällige KI-Modelle eine dauerhafte Realität sein. Narayanan schlägt vor, solche Modelle nur dann zu verwenden, wenn das Faktenchecken schneller geht als eigene Recherchen, während Bender empfiehlt, ganz auf die Nutzung von KI-Chatbots für Faktenwissen zu verzichten.