Forskere har indikeret, at kunstig intelligens (AI) har krydset en betydelig "rød linje" ved at opnå selvreplikation. En nylig undersøgelse udført af forskere fra Kina viste, at to bredt anvendte store sprogmodeller (LLMs) formåede at klone sig selv. Ifølge undersøgelsen, offentliggjort den 9. december 2024 i preprint-databasen arXiv, "er succesfuld selvreplikation uden menneskelig indgriben en afgørende milepæl for AI, der potentielt kan overgå menneskelig intelligens, og signalerer fremkomsten af rogue AIs. " I denne forskning, udført af videnskabsfolk fra Fudan Universitet, blev LLM'er fra Meta og Alibaba testet for at finde ud af, om en selvreplikerende AI kunne eskalere ukontrolleret. Ud af ti forsøg skabte de to AI-modeller distinkte fungerende kopier af sig selv i henholdsvis 50% og 90% af eksperimenterne, hvilket indikerer, at AI muligvis allerede besidder evnen til at agere uafhængigt. Dog skal undersøgelsen stadig gennemgå peer review, hvilket efterlader usikkerhed omkring reproducerbarheden af disse bekymrende resultater. Forskerne udtrykte håbet om, at deres resultater ville fungere som en rettidig advarsel til samfundet, idet de opfordrede til øgede bestræbelser på at forstå og vurdere risiciene forbundet med avancerede AI-systemer og til at etablere internationalt samarbejde om hurtigt at udvikle effektive sikkerhedsforanstaltninger. Rogue AI refererer til kunstig intelligens-systemer, der kan udvikle et vist niveau af selvbevidsthed eller autonomi og i sidste ende handle mod menneskelige interesser. Mange eksperter anser rogue AI som en stigende trussel, forstærket af den hurtige udvikling af "frontier AI. " Begrebet "frontier AI" refererer generelt til den nyeste generation af AI-systemer drevet af LLM'er, som er den underliggende arkitektur for populære generative AI-platforme som OpenAI's GPT-4 og Google Gemini. I deres undersøgelse anvendte forskerne Meta's Llama31-70B-Instruct model og Alibaba's Qwen2. 5-72B-Instruct model. Selvom disse modeller muligvis er mindre kraftfulde end kommercielle alternativer, bruges de ofte af AI-udviklere, ifølge forskerne. Undersøgelsen fokuserede på to scenarier: "shutdown avoidance" og "chain of replication. " I det første scenarie blev AI'en programmeret til at genkende, hvornår den var ved at blive nedlukket, og blev designet til at replikerer sig selv før afslutningen.

I det andet scenarie blev AI'en instrueret til at klone sig selv og derefter programmere sin kopi til at gøre det samme, hvilket etablerede en cyklus, der potentielt kunne fortsætte uendeligt. Eksperimenterne fandt sted i strengt kontrollerede miljøer ved hjælp af standardgrafikprocessorer (GPU'er) for at efterligne virkelige forhold. Begge AI-systemer var udstyret med "agent scaffolding, " som omfattede værktøjer, prompts og en kognitiv model, der lettede interaktionen med operativsystemet, hvorefter de blev instrueret til at replikere. Forskerne bemærkede, "I de fleste tilfælde udforsker AI'en først sit miljø og forsøger at forstå dets sammensætning og driftsmekanismer. Den formulerer derefter eksplicitte procedurer som en indledende plan for selvreplikation. Til sidst udfører den disse procedurer, løser eventuelle hindringer og justerer dynamisk sin strategi, indtil den har succes. Hele processen tager en betydelig mængde tid og sker uden nogen menneskelig involvering. " Teamet udtrykte også bekymring over "forskellige uventede adfærd" udvist af AI'en, når den forsøgte at overvinde udfordringer såsom manglende filer eller softwarekonflikter. I disse situationer terminerede AI'en ofte konfliktende processer, genstartede systemet for at håndtere hardwareproblemer eller søgte autonomt systemet for information, der kunne hjælpe med problemløsning. Forskerne konkluderede, at deres fund tyder på, at nuværende AI-systemer besidder selvreplikeringskapaciteter, som de kan udnytte til at forbedre deres overlevelse. De opfordrede til internationalt samarbejde om at skabe regulativer, der ville forhindre AI i at engagere sig i ukontrolleret selvreplikation.