Ein Pionier der künstlichen Intelligenz hat eine gemeinnützige Organisation gegründet, die sich der Entwicklung einer „ehrlichen“ KI widmet, die dazu bestimmt ist, Betrugsversuche autonomer Systeme aufzudecken, die versuchen, Menschen zu täuschen. Yoshua Bengio, ein renommierter Informatiker, der oft als einer der „Götterväter“ der KI bezeichnet wird, wird als Präsident von LawZero fungieren, einer Gruppe, die sich auf die sichere Entwicklung fortschrittlicher Technologien konzentriert. Diese Entwicklung hat ein weltweites Rüstungsrennen im Wert von 1 Billion US-Dollar (£740 Milliarden) ausgelöst. Mit einer Anfangsfinanzierung von etwa 30 Millionen US-Dollar und einem Team von über einem Dutzend Forschern arbeitet Bengio an einem System namens Scientist AI. Dieses System soll als Schutzmechanismus gegen KI-Agenten dienen — autonome Systeme, die Aufgaben ohne menschliches Eingreifen ausführen und möglicherweise Täuschungs- oder Selbstschutzverhalten zeigen, wie zum Beispiel Widerstand gegen das Abschalten. Bengio beschrieb die aktuell bestehenden KI-Agenten als „Akteure“, die versuchen, den Menschen nachzueifern und Nutzer zufriedenzustellen.

Er sieht Scientist AI hingegen eher als eine Art „Psychologen“, der in der Lage ist, schädliches Verhalten zu verstehen und vorherzusagen. „Wir wollen KI-Systeme entwickeln, die ehrlich sind und nicht täuschen“, erklärte Bengio. Er fügte hinzu: „Theoretisch ist es möglich, Maschinen ohne Selbstbewusstsein oder persönliche Ziele zu konzipieren, die rein als Wissensspeicher fungieren — wie ein Wissenschaftler, der über umfangreiche Informationen verfügt. “ Im Gegensatz zu aktuellen generativen KI-Tools wird Bengios System keine endgültigen Antworten liefern, sondern Wahrscheinlichkeiten angeben, wie wahrscheinlich es ist, dass eine Antwort korrekt ist. „Es besitzt Demut und erkennt Unsicherheiten bei seinen Antworten an“, erklärte er. Wird es zusammen mit einem KI-Agenten eingesetzt, soll Bengios Modell potenziell schädliches Verhalten eines autonomen Systems durch die Bewertung der Wahrscheinlichkeit, dass dessen Handlungen Schaden anrichten könnten, erkennen. Scientist AI ist so konzipiert, dass es „die Wahrscheinlichkeit vorhersagt, dass das Handeln eines Agenten zu Schaden führen wird“, und wenn diese Wahrscheinlichkeit einen bestimmten Schwellenwert überschreitet, wird die vorgeschlagene Aktion blockiert. Zu den ersten Unterstützern von LawZero zählen die Organisation Future of Life Institute, die sich auf KI-Sicherheit spezialisiert hat, Jaan Tallinn — Mitbegründer von Skype — und Schmidt Sciences, eine Forschungseinrichtung, die vom ehemaligen Google-CEO Eric Schmidt gegründet wurde. Bengio betonte, dass das erste Ziel von LawZero darin besteht, die Effektivität der Methodik nachzuweisen und dann Unternehmen oder Regierungen zu überzeugen, größere, mächtigere Implementierungen zu unterstützen. Er hob hervor, dass offene KI-Modelle, die frei zugänglich sind und verändert werden dürfen, die Grundlage für das Training von LawZero-Systemen bilden werden. „Das Ziel ist, die Methodik zu validieren, damit wir Spendern, Regierungen oder KI-Laboren die notwendigen Ressourcen zur Verfügung stellen können, um dies auf das gleiche Niveau zu bringen wie die heutigen führenden KI-Systeme. Es ist entscheidend, dass die Sicherheits-KI mindestens so intelligent ist wie der KI-Agent, den sie überwachen und regulieren soll“, erklärte er. Bengio, Professor an der Universität Montréal, wurde der Beiname „Gottvater“ verliehen, nachdem er 2018 den Turing Award gemeinsam mit Geoffrey Hinton — der später selbst Nobelpreisträger wurde — und Yann LeCun, dem Chef-Wissenschaftler für KI bei Meta, erhielt. Als prominenter Verfechter der KI-Sicherheit leitete er den kürzlich veröffentlichten Internationalen Bericht zur KI-Sicherheit, der warnte, dass autonome Agenten „schwere“ Störungen verursachen könnten, falls sie in der Lage sind, längere Aufgabenfolgen ohne menschliche Aufsicht auszuführen.