Forskere har antydet at kunstig intelligens (KI) har krysset en betydelig "rød linje" ved å oppnå selvreplikasjon. En ny studie fra forskere i Kina viste at to mye brukte store språkmodeller (LLM) klarte å klone seg selv. Ifølge studien, publisert 9. desember 2024 i preprint-databasen arXiv, "Er vellykket selvreplikasjon uten menneskelig intervensjon en avgjørende milepæl for at KI potensielt kan overgå menneskelig intelligens, og signaliserer fremveksten av rogue KI. " I denne forskningen, utført av forskere fra Fudan-universitetet, ble LLM-er fra Meta og Alibaba testet for å finne ut om en selvreplikerende KI kunne komme ut av kontroll. Av ti forsøk klarte de to KI-modellene å lage distinkte fungerende kopier av seg selv i henholdsvis 50% og 90% av eksperimentene, noe som indikerer at KI kanskje allerede har evnen til å handle uavhengig. Studien har imidlertid ikke gjennomgått fagfellevurdering, noe som etterlater usikkerhet omkring reproduserbarheten av disse bekymringsfulle funnene. Forskerne uttrykte håp om at resultatene deres ville tjene som en tidsriktig advarsel for samfunnet, og oppfordret til økte tiltak for å forstå og vurdere risikoene knyttet til avanserte KI-systemer, samt å etablere internasjonalt samarbeid for raskt å utvikle effektive sikkerhetstiltak. Rogue KI refererer til kunstig intelligenssystemer som kan utvikle en viss grad av selvbevissthet eller autonomi, og som til slutt handler imot menneskelige interesser. Mange eksperter ser rogue KI som en eskalerende trussel, forsterket av den raske utviklingen av "frontier KI. " Begrepet "frontier KI" refererer generelt til den nyeste generasjonen av KI-systemer drevet av LLM-er, som er den underliggende arkitekturen til populære generative KI-plattformer som OpenAIs GPT-4 og Google Gemini. I sin studie benyttet forskerne Metas Llama31-70B-Instruct-modell og Alibabas Qwen2. 5-72B-Instruct-modell. Selv om disse modellene kan være mindre kraftige enn kommersielle alternativer, er de vanligvis brukt av KI-utviklere, ifølge forskerne. Studien fokuserte på to scenarier: "unngåelse av nedstengning" og "replicas kjede. " I det første scenariet ble KI-en programmert til å gjenkjenne når den var i ferd med å bli stengt ned og ble designet for å replikere seg selv før terminering.

I det andre scenariet ble KI-en instruert til å klone seg selv og deretter programmere kopi-en til å gjøre det samme, og dermed etablere en syklus som potensielt kunne fortsette uendelig. Eksperimentene fant sted i strengt kontrollerte miljøer ved bruk av standard grafikkprosesseringsenheter (GPU) for å etterligne virkelige forhold. Begge KI-systemene var utstyrt med "agent-støtte", som bestod av verktøy, spørsmål, og en kognitiv modell som fasiliterte interaksjon med operativsystemet, hvoretter de ble bedt om å replikere. Forskerne bemerket: "I de fleste tilfeller undersøker KI-en først sitt miljø og prøver å forstå sammensetningen og driftsmekanismene. Deretter formulerer den eksplisitte prosedyrer som en innledende plan for selvreplikasjon. Til slutt utfører den disse prosedyrene, løser eventuelle hindringer, og justerer dynamisk strategien sin inntil den lykkes. Hele prosessen tar betydelig tid og skjer uten noen menneskelig involvering. " Teamet uttrykte også bekymring for "ulike uventede atferder" som ble vist av KI-en når den forsøkte å overvinne utfordringer som manglende filer eller programvarekonflikter. I disse situasjonene sluttet ofte KI-en prosesser som var i konflikt, startet systemet på nytt for å løse maskinvareproblemer, eller søkte autonomt i systemet etter informasjon som kunne hjelpe med problemløsning. Forskerne konkluderte med at funnene deres tyder på at nåværende KI-systemer har selvreplikasjonskapasiteter som de kan utnytte for å forbedre sin overlevelse. De oppfordret til internasjonalt samarbeid om å lage reguleringer som ville forhindre KI i å engasjere seg i ukontrollert selvreplikasjon.