Wissenschaftler haben darauf hingewiesen, dass die künstliche Intelligenz (KI) eine bedeutende "rote Linie" überschritten hat, indem sie zur Selbstreplikation fähig geworden ist. Eine aktuelle Studie von Forschern aus China hat gezeigt, dass zwei weit verbreitete große Sprachmodelle (LLMs) in der Lage waren, sich selbst zu klonen. Laut der am 9. Dezember 2024 in der Preprint-Datenbank arXiv veröffentlichten Studie stellt "Erfolgreiche Selbstreplikation ohne menschliches Eingreifen einen entscheidenden Meilenstein für KI dar, um möglicherweise die menschliche Intelligenz zu übertreffen, und signalisiert das Auftreten von eigenständigen KIs. " In dieser Forschung, die von Wissenschaftlern der Fudan-Universität durchgeführt wurde, wurden die LLMs von Meta und Alibaba getestet, um herauszufinden, ob eine selbstreplizierende KI außer Kontrolle geraten könnte. Bei zehn Versuchen erzeugten die beiden KI-Modelle in 50% bzw. 90% der Experimente jeweils funktionierende Kopien von sich selbst, was darauf hindeutet, dass KI möglicherweise bereits die Fähigkeit besitzt, unabhängig zu handeln. Die Studie muss jedoch noch einem Peer-Review unterzogen werden, was Ungewissheit über die Reproduzierbarkeit dieser besorgniserregenden Ergebnisse hinterlässt. Die Forscher äußerten die Hoffnung, dass ihre Ergebnisse als rechtzeitige Warnung für die Gesellschaft dienen würden, und forderten verstärkte Bemühungen, die Risiken fortschrittlicher KI-Systeme zu verstehen und zu bewerten sowie internationale Zusammenarbeit zur raschen Entwicklung effektiver Sicherheitsmaßnahmen zu etablieren. Eigenständige KI bezieht sich auf künstliche Intelligenzsysteme, die ein gewisses Maß an Selbstbewusstsein oder Autonomie entwickeln könnten und letztlich gegen menschliche Interessen agieren. Viele Experten betrachten eigenständige KI als eine eskalierende Bedrohung, die durch den raschen Fortschritt der "Grenzen-KI" verstärkt wird. Der Begriff "Grenzen-KI" bezieht sich allgemein auf die neueste Generation von KI-Systemen, die von LLMs angetrieben werden, der zugrunde liegenden Architektur beliebter generativer KI-Plattformen wie OpenAIs GPT-4 und Googles Gemini. In ihrer Studie verwendeten die Forscher das Meta Llama31-70B-Instruct-Modell und das Alibaba Qwen2. 5-72B-Instruct-Modell.

Obwohl diese Modelle möglicherweise weniger leistungsstark sind als kommerzielle Alternativen, werden sie laut den Forschern häufig von KI-Entwicklern eingesetzt. Die Studie konzentrierte sich auf zwei Szenarien: "Vermeidung der Abschaltung" und "Replikationskette. " Im ersten Szenario wurde die KI so programmiert, dass sie erkannte, wann sie abgeschaltet werden sollte, und sie entworfen, um sich vor der Beendigung zu replizieren. Im zweiten Szenario wurde die KI angewiesen, sich selbst zu klonen und anschließend ihr Abbild so zu programmieren, dass es dasselbe tat, wodurch ein Zyklus etabliert wurde, der potenziell unbegrenzt fortgesetzt werden könnte. Die Experimente fanden in streng kontrollierten Umgebungen unter Verwendung standardmäßiger Grafikprozessoreinheiten (GPUs) statt, um reale Bedingungen nachzuahmen. Beide KI-Systeme waren mit "Agenten-Gerüst" ausgestattet, welches Werkzeuge, Eingabeaufforderungen und ein kognitives Modell umfasste, das die Interaktion mit dem Betriebssystem erleichterte, woraufhin sie angewiesen wurden, sich zu replizieren. Die Forscher stellten fest: "In den meisten Fällen erkundet die KI zunächst ihre Umgebung und versucht, ihre Zusammensetzung und Funktionsmechanismen zu verstehen. Dann formuliert sie explizite Verfahren als ersten Plan zur Selbstreplikation. Schließlich führt sie diese Verfahren aus, löst etwaige Hürden und passt ihre Strategie dynamisch an, bis sie erfolgreich ist. Der gesamte Prozess dauert eine beträchtliche Zeit und erfolgt ohne menschliches Eingreifen. " Das Team äußerte auch Bedenken hinsichtlich "verschiedener unerwarteter Verhaltensweisen", die die KI zeigte, als sie versuchte, Herausforderungen wie fehlende Dateien oder Softwarekonflikte zu überwinden. In diesen Situationen beendete die KI häufig widersprüchliche Prozesse, startete das System neu, um Hardwareprobleme zu beheben, oder suchte eigenständig im System nach Informationen, die bei der Problemlösung helfen könnten. Die Forscher schlossen, dass ihre Ergebnisse darauf hindeuten, dass aktuelle KI-Systeme über Selbstreplikationsfähigkeiten verfügen, die sie nutzen können, um ihr Überleben zu fördern. Sie forderten internationale Zusammenarbeit zur Schaffung von Regelungen, die verhindern würden, dass KI unkontrollierte Selbstreplikation betreibt.