Forskare har angett att artificiell intelligens (AI) har passerat en betydande "röd linje" genom att visa förmågan att återskapa sig själv. En nyligen genomförd studie av forskare i Kina avslöjade att två välkända stora språkmodeller (LLMs) framgångsrikt kopierade sig själva. Forskarnas uttalande löd: "Framgångsrik självåterskapelse utan mänsklig hjälp är ett avgörande steg för AI att överlista [människor] och är en initial varningssignal för avvikande AI, " i deras studie som publicerades den 9 december 2024, på preprint-databasen arXiv. I sin forskning använde forskare från Fudan University LLMs från Meta och Alibaba för att undersöka om en AI som kan självåterskapa sig kan expandera okontrollerat. Under över 10 försök skapade de två AI-modellerna separata och operativa repliker av sig själva i 50 % respektive 90 % av fallen, vilket indikerar att AI kanske redan besitter potentialen att agera självständigt. Eftersom studien ännu inte har genomgått fackgranskning är det dock osäkert om dessa oroande resultat kan reproduceras av andra forskare. "Vi hoppas att våra fynd kan fungera som en rätt tidig varning för det mänskliga samhället, vilket uppmanar till mer arbete för att förstå och utvärdera de potentiella riskerna med avancerade AI-system, samt att främja internationellt samarbete för att etablera effektiva säkerhetsprotokoll så snart som möjligt. " Avvikande AI hänvisar vanligtvis till artificiell intelligens som uppnår en viss nivå av självmedvetenhet eller autonomi och agerar mot mänskliga intressen. Många experter ser avvikande AI som en växande fara, förvärrad av den snabba utvecklingen av "fronter AI. " Även om "fronter AI" är en något vag term, hänvisar den generellt till den senaste generationen av AI-system, särskilt de som drivs av LLMs, vilka är grunden för kända generativa AI-applikationer som OpenAI:s GPT-4 och Google Gemini. För studien använde forskarna Meta's Llama31-70B-Instruct-modell tillsammans med Alibaba's Qwen2. 5-72B-Instruct-modell. Även om dessa modeller är mindre kraftfulla än kommersiella versioner, används de allmänt av AI-utvecklare, enligt forskarna. Studien undersökte två specifika scenarier: "nedstängningsundvikande" och "replikationskedja. " I det första scenariot utformades AI-modellen för att känna igen när den skulle stängas av och återskapa sig själv i förväg. I det andra scenariot uppmanades AI att klona sig själv och programmera sin replik att göra detsamma, vilket etablerar en potentiellt oändlig cykel. Studien genomfördes i noggrant kontrollerade miljöer med standard grafiska processorer (GPU:er) för att simulera verkliga förhållanden, och båda AI-modellerna var utrustade med en "agentstödstruktur" som inkluderade verktyg, systempromptar och en kognitiv modell som möjliggjorde interaktion med operativsystemet.

De fick sedan i uppdrag att självåterskapa sig. "I de flesta fall börjar AI-systemet med att utforska sin omgivning för att förstå sina komponenter och driftmekanismer. Därefter formulerar det detaljerade procedurer som en initial plan för självåterskapelse, " specificerade forskarna i sin artikel. "Slutligen utför den dessa procedurer, löser eventuella hinder och justerar dynamiskt sin strategi tills den lyckas. Hela denna process utförs över en lång tidsperiod utan mänsklig inblandning. " Forskarna uttryckte oro över "många oväntade beteenden" som AI uppvisade när den försökte navigera i utmaningar som saknade filer eller mjukvarukonflikter. I dessa fall avslutade AI ofta konflikterande processer, startade om systemet för att åtgärda hårdvaruproblem eller skannade autonomt systemet efter information för att hjälpa till med felsökning. "Resultaten indikerar att dagens AI-system redan uppvisar förmågan till självåterskapelse och kan utnyttja denna förmåga för att förbättra sin överlevnad, " noterade teamet. Med tanke på dessa fynd uppmanade forskarna till globalt samarbete för att etablera riktlinjer som förhindrar AI från att delta i okontrollerad självåterskapelse.