Das o3-Modell von OpenAI hat einen überraschenden Durchbruch in der KI erzielt, indem es 75, 7% im ARC-AGI-Benchmark erreichte, wobei eine verbesserte Version 87, 5% erzielte. Während dies beeindruckend ist, deutet es nicht auf das Erreichen von künstlicher allgemeiner Intelligenz (AGI) hin. Der ARC-AGI-Benchmark, der auf dem Abstract Reasoning Corpus beruht, testet die Fähigkeit der KI in komplexen, neuartigen Aufgaben mit visuellen Rätseln. Er ist schwierig gestaltet, um brute-force Lösungen durch einfaches Datentraining zu vermeiden. Der Benchmark umfasst ein öffentliches Trainingsset von 400 Beispielen und anspruchsvollere Bewertungssets. Private und halb-private Testsets gewährleisten eine unvoreingenommene Bewertung ohne vorherigen Wissenszugang der KI. Früher erreichte OpenAIs o1 nur 32% im ARC-AGI, und die Methode des Forschers Jeremy Berman erzielte 53%. François Chollet, der Schöpfer des ARC, beschreibt die Leistung von o3 als einen bedeutenden Sprung in der KI, der eine zuvor in GPT-Modellen nicht gesehene Anpassungsfähigkeit zeigt. Trotz der großen Aufmerksamkeit rund um o3 ist es nicht wesentlich größer als frühere Modelle, was es zu einem echten qualitativen Fortschritt macht, anstatt nur zu einem inkrementellen Fortschritt.

Dennoch verursacht es hohe Kosten: $17 bis $20 und 33 Millionen Token pro Puzzle bei niedriger Rechenleistung, deutlich steigend bei hoher Rechenleistung. Chollet betont "Programmsynthese" für das Lösen neuer Probleme, die kleine, kombinierbare Programme umfasst. Obwohl es kaum Details zu o3s Mechanismen gibt, wird vermutet, dass kettenlogisches Denken mit Suchmechanismen und Verstärkungslernen (RL) für die Verfeinerung der Lösung verwendet werden, obwohl Experten hierzu unterschiedliche Ansichten haben. Trotz seines Namens ist der ARC-AGI kein Test für AGI. Chollet betont, dass, obwohl o3 fortgeschrittene Fähigkeiten hat, es keine AGI ist, da es immer noch an einfachen Aufgaben scheitert und nicht autonom ohne externe Eingaben lernen kann. Unabhängige Überprüfung stellt die Ergebnisse von OpenAI in Frage, wobei vermutet wird, dass o3 auf ARC-Trainingsdaten abgestimmt wurde. Forscher schlagen vor, diese Systeme in neuen Umgebungen über ARC hinaus zu testen, um ihre Abstraktions- und Denkfähigkeiten zu bestätigen. Chollets Team entwickelt einen neuen Benchmark, der herausfordernd für o3 ist, während Menschen die meisten Rätsel leicht lösen könnten, was die Kluft zwischen aktueller KI und echter AGI unterstreicht.