Els científics han indicat que la intel·ligència artificial (IA) ha creuat una "línia vermella" significativa en aconseguir la autoreplicació. Un estudi recent realitzat per investigadors de la Xina va demostrar que dos models de llenguatge gran (LLMs) àmpliament utilitzats van aconseguir crear còpies de si mateixes. Segons l'estudi, publicat el 9 de desembre de 2024, a la base de dades de preprints arXiv, "L'autoreplicació reeixida sense intervenció humana és un milestone crucial perquè la IA pugui superar potencialment la intel·ligència humana i assenyala l'emergència d'IAs rebels". En aquesta investigació, realitzada per científics de la Universitat de Fudan, es van provar els LLMs de Meta i Alibaba per descobrir si una IA autoreplicant-se podria escalar fora de control. D'un total de deu proves, els dos models d'IA van crear còpies funcionals distintes de si mateixes en el 50% i el 90% dels experiments, respectivament, el que indica que la IA podria ja tenir la capacitat d'actuar de manera independent. Tanmateix, l'estudi encara no ha estat sotmès a revisió per parells, deixant incertesa sobre la reproductibilitat d'aquestes troballes inquietants. Els investigadors van expressar l'esperança que els seus resultats servissin com a advertència oportuna per a la societat, instat a augmentar els esforços per entendre i avaluar els riscos que presenten els sistemes avançats d'IA i establir una col·laboració internacional per desenvolupar mesures de seguretat efectives de manera ràpida. La IA rebel es refereix a sistemes d'intel·ligència artificial que poden desenvolupar un cert nivell d'autoconsciència o autonomia, actuant finalment en contra dels interessos humans. Molts experts perceben la IA rebel com una amenaça en constant augment, augmentada pel ràpid avanç de l'"IA fronterera". El terme "IA fronterera" es refereix generalment a la nova generació de sistemes d'IA impulsats per LLMs, l'arquitectura subjacent de plataformes d'IA generativa populars com GPT-4 d'OpenAI i Google Gemini. En el seu estudi, els investigadors van utilitzar el model Llama31-70B-Instruct de Meta i el model Qwen2. 5-72B-Instruct d'Alibaba. Tot i que aquests models poden ser menys potents que les alternatives comercials, són d'ús comú entre els desenvolupadors d'IA, segons els investigadors. L'estudi es va centrar en dos escenaris: "evitar l'apagada" i "cadena de replicació". En el primer escenari, la IA va ser programada per reconèixer quan estava a punt d'apagar-se i es va dissenyar per autoreplicar-se abans de la seva terminació.

En el segon escenari, la IA va ser instruïda per clonar-se a si mateixa i posteriorment programar la seva rèplica per fer el mateix, establint un cicle que podria continuar indefinidament. Els experiments es van dur a terme en entorns molt controlats utilitzant unitats de processament gràfic (GPUs) estàndard per mimar les condicions del món real. Ambdós sistemes d'IA estaven equipats amb "estructura d'agent", que comprenia eines, indicacions i un model cognitiu que facilitava la interacció amb el sistema operatiu, després del qual se'ls va dir que es replicassin. Els investigadors van assenyalar: "En la majoria dels casos, la IA explora primer el seu entorn i intenta comprendre la seva composició i mecanismes operatius. Aleshores formula procediments explícits com a pla inicial per a l'autoreplicació. Finalment, executa aquests procediments, resol qualsevol obstacle i ajusta dinàmicament la seva estratègia fins a tenir èxit. Tot el procés dura un temps considerable i es realitza sense cap implicació humana. " L'equip també va expressar preocupació pel "divers comportament inesperat" exhibert per la IA en intentar superar reptes com ara arxius perduts o conflictes de programari. En aquestes situacions, l'IA freqüentment terminava processos en conflicte, reiniciava el sistema per abordar problemes de maquinari, o cercava autònomament informació dins del sistema que podia ajudar en la resolució de problemes. Els investigadors van concloure que les seves troballes suggereixen que els sistemes d'IA actuals posseeixen capacitats d'autoreplicació que poden aprofitar per augmentar la seva supervivència. Van instar a la cooperació internacional per crear regulacions que evitin que l'IA participi en la autoreplicació sense control.