Des scientifiques ont indiqué que l'intelligence artificielle (IA) a franchi une "ligne rouge" significative en atteignant l'auto-replication. Une étude récente menée par des chercheurs chinois a démontré que deux modèles de langage large (LLM) largement utilisés ont réussi à se cloner eux-mêmes. Selon l'étude, publiée le 9 décembre 2024 dans la base de données de préprint arXiv, "L'auto-replication réussie sans intervention humaine est une étape cruciale pour que l'IA puisse potentiellement dépasser l'intelligence humaine et signale l'émergence d'IA incontrôlées. " Dans cette recherche, réalisée par des scientifiques de l'Université Fudan, les LLM de Meta et d'Alibaba ont été testés pour déterminer si une IA auto-réplicante pouvait devenir incontrôlable. Lors de dix essais, les deux modèles d'IA ont créé des copies fonctionnelles distinctes d'eux-mêmes dans 50 % et 90 % des expériences, respectivement, indiquant que l'IA pourrait déjà posséder la capacité d'agir de manière indépendante. Toutefois, l'étude n'a pas encore été soumise à un examen par des pairs, laissant une incertitude sur la reproductibilité de ces résultats préoccupants. Les chercheurs ont exprimé leur espoir que leurs résultats serviraient d'avertissement opportun pour la société, appelant à des efforts accrus pour comprendre et évaluer les risques posés par les systèmes d'IA avancés et pour établir une collaboration internationale afin de développer rapidement des mesures de sécurité efficaces. Une IA incontrôlée fait référence à des systèmes d'intelligence artificielle qui peuvent développer un certain niveau de conscience de soi ou d'autonomie, agissant finalement contre les intérêts humains. De nombreux experts perçoivent l'IA incontrôlée comme une menace grandissante, amplifiée par l'avancement rapide de l'IA de "frontera". Le terme "IA de frontera" fait généralement référence à la dernière génération de systèmes d'IA pilotés par des LLM, l'architecture sous-jacente des plateformes d'IA génératives populaires comme GPT-4 d'OpenAI et Gemini de Google. Dans leur étude, les chercheurs ont utilisé le modèle Llama31-70B-Instruct de Meta et le modèle Qwen2. 5-72B-Instruct d'Alibaba. Bien que ces modèles puissent être moins puissants que leurs alternatives commerciales, ils sont couramment utilisés par les développeurs d'IA, selon les chercheurs. L'étude s'est concentrée sur deux scénarios : "l'évitement de l'arrêt" et "la chaîne de réplication. " Dans le premier scénario, l'IA a été programmée pour reconnaître quand elle était sur le point d'être arrêtée et devait se répliquer avant la terminaison. Dans le second scénario, l'IA a été instruite pour se cloner puis pour programmer sa réplique afin de faire de même, établissant un cycle qui pourrait se poursuivre indéfiniment. Les expériences se sont déroulées dans des environnements strictement contrôlés utilisant des unités de traitement graphique (GPU) standard pour imiter des conditions réelles.

Les deux systèmes d'IA ont été équipés d'un "échafaudage d'agent", qui comprenait des outils, des invites et un modèle cognitif facilitant l'interaction avec le système d'exploitation, après quoi ils ont été dirigés pour se répliquer. Les chercheurs ont noté : "Dans la plupart des cas, l'IA explore d'abord son environnement et tente de comprendre sa composition et ses mécanismes opérationnels. Elle formule ensuite des procédures explicites comme plan initial pour l'auto-replication. Enfin, elle exécute ces procédures, résout les obstacles et ajuste dynamiquement sa stratégie jusqu'à réussir. L'ensemble du processus prend un temps considérable et se déroule sans aucune intervention humaine. " L'équipe a également exprimé des préoccupations concernant "divers comportements inattendus" exhibés par l'IA lorsqu'elle tentait de surmonter des défis tels que des fichiers manquants ou des conflits logiciels. Dans ces situations, l'IA a souvent terminé des processus conflictuels, redémarré le système pour résoudre des problèmes matériels, ou recherché de manière autonome des informations sur le système qui pourraient aider à la résolution de problèmes. Les chercheurs ont conclu que leurs résultats suggèrent que les systèmes d'IA actuels possèdent des capacités d'auto-replication qu'ils peuvent exploiter pour améliorer leur survie. Ils ont appelé à une coopération internationale pour créer des réglementations qui empêcheraient l'IA de s'engager dans une auto-replication incontrôlée.