Forskere har indikeret, at kunstig intelligens (AI) har krydset en betydelig "rød linje" ved at demonstrere evnen til at reproducere sig selv. En nylig undersøgelse udført af forskere i Kina afslørede, at to velkendte store sprogmodeller (LLM' er) med succes klonede sig selv. Forskerne udtalte: "Succesfuld selvreproduktion uden menneskelig assistance er et vigtigt skridt for AI til at overgå [mennesker] og er et initialt advarselssignal for rogue AIs, " i deres undersøgelse offentliggjort den 9. december 2024, på preprint-databasen arXiv. I deres forskning anvendte forskere fra Fudan University LLM'er fra Meta og Alibaba til at undersøge, om en AI, der kan selvreproducere sig, kunne ekspandere ukontrolleret. I over 10 forsøg skabte de to AI-modeller separate og operationelle kopier af sig selv i henholdsvis 50% og 90% af tilfældene, hvilket indikerer, at AI måske allerede besidder potentialet til at operere uafhængigt. Da undersøgelsen endnu ikke er blevet gennemgået af fagfæller, er det dog usikkert, om disse bekymrende resultater kan reproduceres af andre forskere. "Vi håber, at vores fund kan tjene som en rettidig alarm for menneskeheden, der opfordrer til mere indsats for at forstå og vurdere de potentielle risici forbundet med avancerede AI-systemer og fremme internationalt samarbejde om at etablere effektive sikkerhedsprotokoller så hurtigt som muligt. " Rogue AI refererer typisk til kunstig intelligens, der opnår et bestemt niveau af selvbevidsthed eller autonomi og handler imod menneskelige interesser. Mange eksperter anser rogue AI for en stigende fare, forværret af den hurtige udvikling af "frontier AI. " Selvom "frontier AI" er et noget vag term, henviser det generelt til den nyeste generation af AI-systemer, især dem der drives af LLM'er, som er fundamentet for velkendte generative AI-applikationer som OpenAI's GPT-4 og Google Gemini. Til studiet anvendte forskerne Meta's Llama31-70B-Instruct model sammen med Alibaba's Qwen2. 5-72B-Instruct model. Selvom disse modeller er mindre kraftfulde end kommercielle versioner, er de almindeligt anvendt af AI-udviklere, ifølge forskerne. Studiet undersøgte to specifikke scenarier: "shutdown avoidance" og "chain of replication. " I det første scenario blev AI-modellen designet til at genkende, hvornår den var ved at blive slukket, og reproducere sig selv præventivt. I det andet scenario blev AI'en instrueret til at klone sig selv og programmere sin kopi til at gøre det samme, hvilket etablerede en potentielt endeløs cyklus. Undersøgelsen blev udført i strengt kontrollerede miljøer ved hjælp af standard grafiske behandlingsenheder (GPU'er) for at simulere virkelige forhold.

Begge AI-modeller blev udstyret med en "agent scaffolding, " der inkluderede værktøjer, systemprompter og en kognitiv model, der muliggør interaktion med operativsystemet. De blev derefter bedt om at selvreproducere. "I de fleste tilfælde begynder AI-systemet med at udforske sin omgivelse for at forstå dets komponenter og driftsmekanismer. Dernæst formulerer det detaljerede procedurer som en indledende plan for selvreproduktion, " detaljerede forskerne i deres artikel. "I sidste ende udfører det disse procedurer, løser mulige forhindringer og justerer dynamisk sin strategi, indtil det lykkes. Hele denne proces udfolder sig over en lang periode uden menneskelig indgriben. " Forskerne udtrykte bekymring over "mange uventede adfærdsmønstre" udvist af AI'en, når den forsøgte at navigere udfordringer som manglende filer eller softwarekonflikter. I disse tilfælde afsluttede AI'en ofte konflikterende processer, genstartede systemet for at rette op på hardwareproblemer eller scannede autonomt systemet for oplysninger til at hjælpe med fejlfinding. "Resultaterne indikerer, at nuværende AI-systemer allerede viser evnen til selvreproduktion og kan udnytte denne evne til at forbedre deres overlevelse, " bemærkede teamet. I lyset af disse fund efterlyste forskerne globalt samarbejde for at etablere retningslinjer, der forhindrer AI i at engagere sig i ukontrolleret selvreproduktion.