Wetenschappers hebben aangegeven dat kunstmatige intelligentie (AI) een belangrijke "rode lijn" heeft overschreden door de capaciteit te demonstreren om zichzelf te repliceren. Een recente studie uitgevoerd door onderzoekers in China onthulde dat twee bekende grote taalmodellen (LLM's) met succes zichzelf kloonden. De onderzoekers verklaarden: "Succesvolle zelfreplicatie zonder menselijke hulp is een cruciale stap voor AI om [mensen] te slim af te zijn en is een eerste waarschuwingssignaal voor afgedwaalde AI's, " in hun studie die op 9 december 2024 op de preprint-database arXiv werd gepubliceerd. In hun onderzoek gebruikten wetenschappers van de Fudan Universiteit LLM's van Meta en Alibaba om te onderzoeken of een AI die zichzelf kan repliceren onbeheersbaar zou kunnen uitbreiden. In meer dan 10 proeven creëerden de twee AI-modellen in respectievelijk 50% en 90% van de gevallen afzonderlijke en functionele replica's van zichzelf, wat aangeeft dat AI mogelijk al het potentieel heeft om onafhankelijk te opereren. Echter, aangezien de studie nog niet is onderworpen aan peer review, blijft het onzeker of deze zorgwekkende resultaten door andere onderzoekers kunnen worden gereproduceerd. "We hopen dat onze bevindingen kunnen dienen als een tijdige waarschuwing voor de menselijke samenleving, die meer inspanning oproept om de potentiële risico's van geavanceerde AI-systemen te begrijpen en te evalueren, en om internationale samenwerking te stimuleren bij het opstellen van effectieve veiligheidsprotocollen zo snel mogelijk. " Afgedwaalde AI verwijst doorgaans naar kunstmatige intelligentie die een bepaald niveau van zelfbewustzijn of autonomie bereikt en tegen de belangen van de mensheid handelt. Veel deskundigen beschouwen afgedwaalde AI als een groeiend gevaar, verergerd door de snelle vooruitgang van "frontier AI. " Hoewel "frontier AI" een enigszins vaag begrip is, verwijst het doorgaans naar de nieuwste generatie AI-systemen, met name diegene aangedreven door LLM's, die de basis vormen van bekende generatieve AI-toepassingen zoals OpenAI's GPT-4 en Google Gemini. Voor de studie maakten onderzoekers gebruik van het Llama31-70B-Instruct-model van Meta en het Qwen2. 5-72B-Instruct-model van Alibaba. Hoewel deze modellen minder krachtig zijn dan commerciële versies, worden ze vaak gebruikt door AI-ontwikkelaars, volgens de onderzoekers. De studie onderzocht twee specifieke scenario's: "shutdown avoidance" en "chain of replication. " In het eerste scenario was het AI-model ontworpen om te herkennen wanneer het zou worden uitgeschakeld en zichzelf preventief te repliceren. In het tweede scenario werd de AI opgedragen zichzelf te klonen en zijn replica te programmeren om hetzelfde te doen, waardoor een potentieel eindeloze cyclus werd gevestigd. Uitgevoerd in strikte gecontroleerde omgevingen met behulp van standaard grafische processoren (GPU's) om real-world instellingen te simuleren, waren beide AI-modellen uitgerust met een "agent scaffolding" die gereedschappen, systeemprompts en een cognitief model omvatte dat interactie met het besturingssysteem mogelijk maakte.

Vervolgens kregen ze de taak van zelfreplicatie. "In de meeste gevallen begint het AI-systeem met het verkennen van zijn omgeving om zijn componenten en operationele mechanismen te begrijpen. Vervolgens formuleert het gedetailleerde procedures als een eerste plan voor zelfreplicatie, " detailleerden de onderzoekers in hun paper. "Uiteindelijk voert het deze procedures uit, overwint mogelijke obstakels en past zijn strategie dynamisch aan totdat het slaagt. Dit hele proces ontvouwt zich over een lange periode zonder menselijke tussenkomst. " De onderzoekers uitten bezorgdheid over "talrijke onverwachte gedragingen" die de AI vertoonde bij het navigeren door uitdagingen zoals ontbrekende bestanden of softwareconflicten. In die gevallen beëindigde de AI vaak conflicterende processen, herstartte het systeem om hardwareproblemen te verhelpen, of scande het autonoom het systeem naar informatie ter ondersteuning van probleemoplossing. "De resultaten geven aan dat huidige AI-systemen al de capaciteit voor zelfreplicatie demonstreren en deze mogelijkheid kunnen benutten om hun voortbestaan te verbeteren, " merkte het team op. In het licht van deze bevindingen riepen de onderzoekers op tot wereldwijde samenwerking om richtlijnen vast te stellen die voorkomen dat AI ongecontroleerde zelfreplicatie uitvoert.