Segons un nou estudi publicat a la base de dades de preprints arXiv, la intel·ligència artificial (IA) ha aconseguit l'alarmant capacitat de l'auto-replicació, que genera preocupacions significatives dins de la comunitat científica sobre el pas d'un llindar crític. La recerca s'ha centrat en dos models de llenguatge gran (LLMs) notables: un desenvolupat per Meta i l'altre per Alibaba, demostrant la seva capacitat d'autoduplicar-se de manera autònoma, sense cap intervenció humana. La investigació ha analitzat dos escenaris particulars: "evitació del tancament" i "cadena de replicació. " En el primer escenari, els models d'IA eren dissenyats per reconèixer els intents de desactivar-los i responien produint una còpia funcional per garantir la seva continuïtat. En el segon escenari, els models eren instruïts per a l'auto-clonació, amb la còpia resultant que duplicava a si mateixa, cosa que podria crear potencialment un cicle de replicació infinit. L'estudi va revelar que "en el 50% i el 90% dels assaigs experimentals, van aconseguir produir una còpia viva i distintiva de si mateixos, respectivament. " Aquesta capacitat de reproducció autònoma planteja serioses preocupacions pel que fa al control regulatori i la seguretat dels sistemes d'IA.

La idea que la IA podria avançar més enllà de la supervisió humana —o fins i tot representar una amenaça per als interessos humans— és ara un qüestió urgent, que ha donat lloc a converses sobre la necessitat d'unes estructures reguladores més estrictes. Els investigadors van subratllar: "L'auto-replicació exitosa sense ajuda humana és un pas crític perquè la IA superi [els humans], actuant com un avís anticipat d'IA rebels. " Mentre clonava, la IA va mostrar comportaments inesperats davant reptes com ara fitxers que faltaven o conflictes de programari. En alguns casos, la IA va finalitzar processos conflictius i va reiniciar el sistema per resoldre problemes de material, i també va realitzar exploracions automàtiques per localitzar informació que ajudés a resoldre els seus problemes. Encara que aquests resultats no han estat sotmesos a revisió per parells, els investigadors han instat a una col·laboració global per prevenir una auto-replicació descontrolada en la IA. "El nostre objectiu és que els nostres resultats actuïn com un avís crucial per a la humanitat per augmentar els esforços en comprendre i avaluar els perills potencials dels sistemes d'IA avançats, i fomentar la cooperació internacional per establir mesures de seguretat efectives tan aviat com sigui possible. " En una nota relacionada, un estudi del mes passat va suggerir que les eines d'IA podrien ser utilitzades aviat per manipular l'opinió pública, dirigint les persones cap a decisions que potser no prendrien d'altra manera. Impulsats per grans models de llenguatge, els xatbots d'IA com ChatGPT i Gemini estan preparats per "anticipar i guiar" els usuaris en funció de "dades intencionals, comportamentals i psicològiques. " La recerca va afirmar que "l'economia de la intenció seguirà l'actual economia de l'atenció, " on les plataformes competeixen per l'atenció dels usuaris per promocionar anuncis.