Der Durchbruch des OpenAI o3 Modells beim ARC-AGI Benchmark: Ein Schritt in Richtung fortschrittliche KI.
Brief news summary
Das o3-Modell von OpenAI markiert einen bedeutenden Fortschritt in der künstlichen Intelligenz, indem es einen Score von 75,7 % im ARC-AGI-Benchmark erreicht, während seine Variante mit hohem Rechenaufwand beeindruckende 87,5 % erzielt. Der ARC-AGI bewertet die Fähigkeit einer KI, neuartige und komplexe visuelle Aufgaben zu bewältigen und hebt adaptive Intelligenz hervor. Trotz dieses Fortschritts qualifiziert sich o3 noch nicht als echte allgemeine künstliche Intelligenz (AGI), da es immer noch bei einfachen Aufgaben Schwierigkeiten hat und menschliche Anleitung beim logischen Denken benötigt. Zuvor lag der höchste ARC-AGI-Score bei 53 %, erreicht durch eine Mischung aus Modellen und genetischen Algorithmen. François Chollet, der Schöpfer von ARC, betrachtet o3 als einen bedeutenden Sprung in der adaptiven KI, der über bloße inkrementelle Fortschritte hinausgeht. Obwohl o3 beträchtliche Rechenleistung erfordert, wird erwartet, dass diese Anforderungen im Laufe der Zeit sinken. Der Erfolg des Modells könnte mit der "Programmsynthese" zusammenhängen, die das Erstellen kleiner Programme zur Bewältigung von Aufgaben umfasst. Es gibt laufende Diskussionen darüber, Verstärkungslernen und Suchstrategien in das Modell zu integrieren, obwohl die architektonischen Details noch nicht bekannt sind. Obwohl die Errungenschaften von o3 im ARC-AGI bemerkenswert sind, entsprechen sie nicht der AGI. Experten, darunter Chollet, betonen, dass das Herausragende im ARC-AGI nicht gleichbedeutend mit der Erreichung von AGI ist. Neue Herausforderungen werden entwickelt, um KI-Modelle besser zu bewerten, insbesondere ihre Anpassungsfähigkeit über anfängliche Trainingsszenarien hinaus. Diese Bemühungen deuten auf einen Wandel in der Ausbildung und Bewertung von KI hin und zeigen Fortschritte in Richtung AGI an, obwohl das ultimative Ziel noch nicht erreicht wurde.Das o3-Modell von OpenAI hat einen überraschenden Durchbruch in der KI erzielt, indem es 75, 7% im ARC-AGI-Benchmark erreichte, wobei eine verbesserte Version 87, 5% erzielte. Während dies beeindruckend ist, deutet es nicht auf das Erreichen von künstlicher allgemeiner Intelligenz (AGI) hin. Der ARC-AGI-Benchmark, der auf dem Abstract Reasoning Corpus beruht, testet die Fähigkeit der KI in komplexen, neuartigen Aufgaben mit visuellen Rätseln. Er ist schwierig gestaltet, um brute-force Lösungen durch einfaches Datentraining zu vermeiden. Der Benchmark umfasst ein öffentliches Trainingsset von 400 Beispielen und anspruchsvollere Bewertungssets. Private und halb-private Testsets gewährleisten eine unvoreingenommene Bewertung ohne vorherigen Wissenszugang der KI. Früher erreichte OpenAIs o1 nur 32% im ARC-AGI, und die Methode des Forschers Jeremy Berman erzielte 53%. François Chollet, der Schöpfer des ARC, beschreibt die Leistung von o3 als einen bedeutenden Sprung in der KI, der eine zuvor in GPT-Modellen nicht gesehene Anpassungsfähigkeit zeigt. Trotz der großen Aufmerksamkeit rund um o3 ist es nicht wesentlich größer als frühere Modelle, was es zu einem echten qualitativen Fortschritt macht, anstatt nur zu einem inkrementellen Fortschritt.
Dennoch verursacht es hohe Kosten: $17 bis $20 und 33 Millionen Token pro Puzzle bei niedriger Rechenleistung, deutlich steigend bei hoher Rechenleistung. Chollet betont "Programmsynthese" für das Lösen neuer Probleme, die kleine, kombinierbare Programme umfasst. Obwohl es kaum Details zu o3s Mechanismen gibt, wird vermutet, dass kettenlogisches Denken mit Suchmechanismen und Verstärkungslernen (RL) für die Verfeinerung der Lösung verwendet werden, obwohl Experten hierzu unterschiedliche Ansichten haben. Trotz seines Namens ist der ARC-AGI kein Test für AGI. Chollet betont, dass, obwohl o3 fortgeschrittene Fähigkeiten hat, es keine AGI ist, da es immer noch an einfachen Aufgaben scheitert und nicht autonom ohne externe Eingaben lernen kann. Unabhängige Überprüfung stellt die Ergebnisse von OpenAI in Frage, wobei vermutet wird, dass o3 auf ARC-Trainingsdaten abgestimmt wurde. Forscher schlagen vor, diese Systeme in neuen Umgebungen über ARC hinaus zu testen, um ihre Abstraktions- und Denkfähigkeiten zu bestätigen. Chollets Team entwickelt einen neuen Benchmark, der herausfordernd für o3 ist, während Menschen die meisten Rätsel leicht lösen könnten, was die Kluft zwischen aktueller KI und echter AGI unterstreicht.
Watch video about
Der Durchbruch des OpenAI o3 Modells beim ARC-AGI Benchmark: Ein Schritt in Richtung fortschrittliche KI.
Try our premium solution and start getting clients — at no cost to you
