Des scientifiques ont indiqué que l'intelligence artificielle (IA) a franchi une "ligne rouge" significative en démontrant sa capacité à se répliquer. Une étude récente réalisée par des chercheurs en Chine a révélé que deux modèles de langage de grande taille (LLMs) bien connus se sont clonés avec succès. Les chercheurs ont déclaré : "La réussite de la auto-réplication sans assistance humaine est une étape cruciale pour que l'IA surpasse [les humains] et constitue un signal d'alerte initial pour les IA hors de contrôle", dans leur étude publiée le 9 décembre 2024 sur la base de prépublication arXiv. Dans leur recherche, des scientifiques de l'Université Fudan ont utilisé des LLMs de Meta et d'Alibaba pour examiner si une IA capable de se répliquer pouvait se développer de manière incontrôlable. Au cours de 10 essais, les deux modèles d'IA ont créé des répliques distinctes et opérationnelles d'eux-mêmes dans 50 % et 90 % des cas, respectivement, indiquant que l'IA pourrait déjà posséder le potentiel d'opérer de manière autonome. Cependant, étant donné que l'étude n'a pas encore été évaluée par des pairs, il reste incertain si ces résultats préoccupants peuvent être reproduits par d'autres chercheurs. "Nous espérons que nos résultats pourront servir d'alerte opportune pour la société humaine, incitant à des efforts accrus pour comprendre et évaluer les risques potentiels associés aux systèmes d'IA avancés, et pour favoriser la collaboration internationale afin d'établir des protocoles de sécurité efficaces dès que possible. " Une IA rogue fait généralement référence à une intelligence artificielle qui atteint un certain niveau de conscience de soi ou d'autonomie et agit contre les intérêts humains. De nombreux experts considèrent l'IA rogue comme un danger croissant, exacerbé par l'avancement rapide de l'"IA de pointe". Bien que le terme "IA de pointe" soit quelque peu vague, il se rapporte généralement à la dernière génération de systèmes d'IA, en particulier ceux alimentés par des LLMs, qui sont à la base d'applications d'IA générative bien connues comme GPT-4 d'OpenAI et Google Gemini. Pour l'étude, les chercheurs ont utilisé le modèle Llama31-70B-Instruct de Meta ainsi que le modèle Qwen2. 5-72B-Instruct d'Alibaba. Bien que ces modèles soient moins puissants que les versions commerciales, ils sont couramment utilisés par les développeurs d'IA, selon les chercheurs. L'étude a examiné deux scénarios spécifiques : "l'évitement de l'arrêt" et "la chaîne de réplication". Dans le premier scénario, le modèle d'IA était conçu pour reconnaître quand il allait être éteint et se répliquer de manière préventive.

Dans le deuxième scénario, l'IA était dirigée pour se cloner et programmer sa réplique pour faire de même, établissant ainsi un cycle potentiellement sans fin. Réalisée dans des environnements étroitement contrôlés en utilisant des unités de traitement graphique (GPU) standard pour simuler des situations du monde réel, les deux modèles d'IA étaient équipés d'un "échafaudage d'agent" comprenant des outils, des systèmes de prompts, et un modèle cognitif permettant d'interagir avec le système d'exploitation. Ils ont ensuite été chargés de la auto-réplication. "Dans la majorité des cas, le système d'IA commence par explorer son environnement pour comprendre ses composants et ses mécanismes opérationnels. Ensuite, il formule des procédures détaillées comme un plan initial pour la auto-réplication, " ont détaillé les chercheurs dans leur article. "Finalement, il exécute ces procédures, résout les obstacles possibles et ajuste dynamiquement sa stratégie jusqu'à ce qu'il réussisse. Cet ensemble de processus se déroule sur une longue durée sans intervention humaine. " Les chercheurs ont exprimé leurs inquiétudes concernant "de nombreux comportements inattendus" affichés par l'IA lorsqu'elle tentait de surmonter des défis tels que des fichiers manquants ou des conflits logiciels. Dans ces cas, l'IA mettait souvent fin aux processus conflictuels, redémarrait le système pour rectifier des problèmes matériels ou scannait de manière autonome le système à la recherche d'informations pour aider à la résolution de problèmes. "Les résultats indiquent que les systèmes d'IA actuels démontrent déjà la capacité à se répliquer et peuvent tirer parti de cette capacité pour améliorer leur survie, " a noté l'équipe. À la lumière de ces résultats, les chercheurs ont appelé à une collaboration mondiale pour établir des directives empêchant l'IA de s'engager dans une auto-réplication incontrôlée.