Wissenschaftler haben eine neue Methode entwickelt, um künstliche Intelligenz (KI)-Systeme zu bewerten, basierend darauf, wie schnell sie menschliche Leistungen bei komplexen Aufgaben übertreffen oder konkurrieren können. Während KI im Allgemeinen bei Textvorhersagen und Faktenwissenaufgaben hervorragend ist, haben sie Schwierigkeiten bei aufwendigeren Projekten wie remote Führungsunterstützung. Um den KI-Fortschritt besser zu messen, schlug eine aktuelle Studie vor, die Leistung von KI zu bewerten, indem man die Dauer der von der KI zu erledigenden Aufgaben mit der Zeit vergleicht, die Menschen dafür benötigen. Die am 30. März auf der Preprint-Plattform arXiv veröffentlichte Studie, die noch nicht peer-reviewed ist, zeigt, dass die Bewertung der Aufgabenlänge ein nützlicher Ansatz ist, um die Fähigkeiten von KI einzuschätzen. Die Forscher vom Model Evaluation & Threat Research (METR) erklärten, dass KI-Agenten oft Schwierigkeiten haben, längere Folgehandlungen aufrechtzuerhalten, anstatt einzelne Einzelschritte zu lösen. Ihre Ergebnisse zeigten, dass KI-Modelle bei Aufgaben, die Menschen in weniger als vier Minuten erledigen, fast 100 % Erfolg hatten, während die Erfolgsrate bei Aufgaben, die mehr als vier Stunden beanspruchen, auf 10 % sank. Ältere KI-Modelle schnitten bei längeren Aufgaben schlechter ab als die neuesten Versionen. Die Studie betonte außerdem, dass sich die maximale Länge der Aufgaben, die allgemeine KI zuverlässig bewältigen kann, in den letzten sechs Jahren etwa alle sieben Monate verdoppelt hat. Für die Studie testete das Team verschiedene KI-Modelle, darunter Sonnet 3. 7, GPT-4, Claude 3 Opus und ältere GPT-Versionen, an einer Reihe von Aufgaben, von einfachen Zwei-Minuten-Aufträgen wie Faktenabfragen bei Wikipedia bis hin zu mehrstündigen Expertenaufgaben wie das Schreiben von CUDA-Kernels oder das Beheben subtiler Bugs in PyTorch. Sie nutzten Tools wie HCAST, das 189 Autonomie-Softwareaufgaben in den Bereichen maschinelles Lernen, Cybersicherheit und Softwareentwicklung anbietet, sowie RE-Bench, das sieben anspruchsvolle, offene Aufgaben im Bereich maschinelles Lernen enthält, die an menschliche Experten benchmarkiert wurden. Zusätzlich bewerteten die Forscher Aufgaben nach „Unordnung“, was die Komplexität in der Wirklichkeit widerspiegelt, etwa die Notwendigkeit zur Koordination bei gleichzeitigen Aktivitäten. Sie entwickelten auch Software-atomare Aktionen (SWAA), das einfache Einzelschritt-Aufgaben von einer bis 30 Sekunden Dauer sind, die anhand der realen Abschlusszeiten menschlicher METR-Mitarbeiter verglichen wurden. Insgesamt zeigte die Studie, dass die „Aufmerksamkeitsspanne“ von KI sich rapide verbessert.

Bei Fortsetzung dieses Trends prognostizierten die Forscher, dass KI bis 2032 das Äquivalent eines Monats menschlicher Softwareentwicklung automatisieren könnte. Dieser Benchmark könnte zu einem besseren Verständnis der sich entwickelnden Fähigkeiten von KI beitragen und eine bedeutende Messgröße für absolute Leistung darstellen, anstatt nur relative Fähigkeiten zu vergleichen. Experten sehen in dieser neuen Bewertungsmethode großes Potenzial. Sohrob Kazerounian, ein renommierter KI-Forscher bei Vectra AI, hält die Messung der KI anhand der Zeit, die Menschen für Aufgaben benötigen, für eine nützliche Proxy bei der Bewertung von Intelligenz und Allgemeinfähigkeit. Er erläuterte, dass kein einzelner Messwert die Intelligenz vollständig erfassen könne, längere Aufgaben zunehmend fehleranfällig würden und dass solche Timing-Messungen mit den komplexen menschlichen Problemen übereinstimmten, die KI zu lösen versucht. Eleanor Watson, Mitglied des IEEE und KI-Ethikingenieurin an der Singularity University, teilte diese Einschätzung und nannte den Parameter „wertvoll und intuitiv“, da er die komplexe Realität widerspiegle und die Fähigkeit der KI, kohärentes, zielgerichtetes Verhalten aufrechtzuerhalten, im Gegensatz zu traditionellen Tests mit kurzen, isolierten Herausforderungen widerspiegle. Neben der Einführung dieses Messwerts unterstreicht die Studie die schnelle Weiterentwicklung der Fähigkeiten von KI-Systemen, längere Aufgaben zu bewältigen, was auf das Aufkommen von generalistischen KI-Agenten in Kürze hinweist. Watson prognostiziert, dass KI bis 2026 zunehmend ganze Tage oder Wochen umspannende Aufgaben statt kurzer, eng definierter Challenges übernehmen wird. Diese Entwicklung könnte es KI ermöglichen, bedeutende Teile der beruflichen Arbeitslast zu übernehmen – Kosten zu senken, Effizienz zu steigern und den Menschen Raum für Kreativität, Strategie und zwischenmenschliche Aktivitäten zu lassen. Für Verbraucher könnte sich KI von einfachen Assistenten zu verlässlichen persönlichen Managern entwickeln, die in der Lage sind, komplexe Aufgaben über längere Zeiträume mit minimaler Aufsicht zu überwachen – etwa Reiseplanung, Gesundheitsüberwachung und Finanzportfoliomanagement. Watson schlägt vor, dass während spezialisierte KI-Tools in Nischengebieten bleiben, mächtige generalistische KI-Agenten, die flexibel zwischen verschiedenen Aufgaben wechseln können, die dominierenden Akteure sein werden, indem sie Fachkenntnisse in breitere Arbeitsabläufe integrieren. Diese Entwicklungen dürften in den kommenden Jahren sowohl den Alltag als auch die berufliche Praxis grundlegend verändern.