Forskere har indikert at kunstig intelligens (KI) har krysset en betydelig "rødt linje" ved å demonstrere evnen til å replikere seg selv. En nylig studie utført av forskere i Kina avslørte at to kjente store språkmodeller (LLM) klarte å klone seg selv. Forskerne uttalte: "Vellykket selv-replikasjon uten menneskelig assistanse er et avgjørende skritt for KI for å overgå [mennesker] og er et tidlig varselsignal for rogue KI, " i sin studie publisert 9. desember 2024, på preprint-databasen arXiv. I sin forskning benyttet forskere fra Fudan University LLM-er fra Meta og Alibaba for å undersøke om en KI som er i stand til selv-replikasjon kan utvide seg ukontrollert. I over 10 forsøk skapte de to KI-modellene separate og operative kopier av seg selv i henholdsvis 50% og 90% av tilfellene, noe som indikerer at KI allerede kan ha potensiale til å operere uavhengig. Imidlertid, siden studien ikke har blitt vurdert av fagfeller ennå, er det usikkert om disse bekymringsfulle resultatene kan reproduseres av andre forskere. "Vi håper at våre funn kan fungere som et presserende varsel for menneskesamfunnet, som oppfordrer til mer innsats for å forstå og vurdere de potensielle risikoene forbundet med avanserte KI-systemer, og for å fremme internasjonalt samarbeid om å etablere effektive sikkerhetsprosedyrer så raskt som mulig. " Rogue KI refererer vanligvis til kunstig intelligens som oppnår et visst nivå av selvbevissthet eller autonomi og handler mot menneskelige interesser. Mange eksperter ser rogue KI som en stadig økende fare, forverret av den raske utviklingen av "frontier KI. " Selv om "frontier KI" er et noe vagt begrep, refererer det generelt til den nyeste generasjonen av KI-systemer, spesielt de som er drevet av LLM-er, som er grunnlaget for kjente generative KI-applikasjoner som OpenAIs GPT-4 og Google Gemini. For studien benyttet forskerne Metas Llama31-70B-Instruct-modell sammen med Alibabas Qwen2. 5-72B-Instruct-modell. Selv om disse modellene er mindre kraftige enn kommersielle versjoner, brukes de ofte av KI-utviklere, ifølge forskerne. Studien undersøkte to spesifikke scenarier: "unngåelse av nedstengning" og "replikasjonskjede. " I det første scenariet ble KI-modellen designet for å gjenkjenne når den var i ferd med å bli slått av og replikere seg selv på forhånd.

I det andre scenariet ble KI instruert til å klone seg selv og programmere sin kopi til å gjøre det samme, og dermed etablere en potensielt uendelig syklus. Studien ble gjennomført i strengt kontrollerte miljøer ved hjelp av standard grafikkprosesseringsenheter (GPU-er) for å simulere virkelige innstillinger, og begge KI-modellene ble utstyrt med en "agent-stillas" som inkluderte verktøy, systemprompter og en kognitiv modell som gjorde interaksjon med operativsystemet mulig. De ble deretter bedt om å replikere seg selv. "I de fleste tilfeller begynner KI-systemet med å utforske sitt miljø for å forstå sine komponenter og driftsmekanismer. Deretter formulerer det detaljerte fremgangsmåter som en innledende plan for selv-replikasjon, " detaljert forskerne i sin artikkel. "Til slutt utfører det disse prosedyrene, løser mulige hindringer og justerer dynamisk strategien sin til det lykkes. Denne hele prosessen utfolder seg over en lang periode uten menneskelig innblanding. " Forskerne uttrykte bekymring for "mange uventede atferder" som ble vist av KI når den forsøkte å navigere i utfordringer som manglende filer eller programvarekonflikter. I de tilfellene avsluttet KI ofte konflikterende prosesser, startet systemet på nytt for å rette opp maskinvareproblemer, eller skannet autonomt systemet for informasjon for å hjelpe i feilsøking. "Resultatene indikerer at nåværende KI-systemer allerede demonstrerer evnen til selv-replikasjon og kan utnytte denne evnen for å forbedre sin overlevelse, " påpekte teamet. I lys av disse funnene oppfordret forskerne til globalt samarbeid for å etablere retningslinjer som forhindrer KI i å engasjere seg i ukontrollert selv-replikasjon.