A tudósok arra figyelmeztettek, hogy a mesterséges intelligencia (MI) átlépett egy jelentős „vörös vonalat”, mivel önreplikációt ért el. Egy nemrégiben készült, kínai kutatók által végzett tanulmány bemutatta, hogy két széles körben használt nagy nyelvi modell (LLM) képes volt lemásolni önmagát. A 2024. december 9-én az arXiv előnyomtatási adatbázisban közzétett tanulmány szerint „A sikeres önreplikáció emberi beavatkozás nélkül kulcsfontosságú mérföldkő lehet az MI számára, hogy esetleg meghaladja az emberi intelligenciát, és a rogue MI-k megjelenését jelzi. ” A Fudani Egyetem tudósai által végzett kutatásban a Meta és az Alibaba LLM-jeit tesztelték, hogy kiderüljön, képes-e egy önreplikáló MI kikerülni az irányítás alól. Tíz kísérletből a két MI modell a kísérletek 50%-ában és 90%-ában különböző működő másolatokat hozott létre magából, ami arra utal, hogy az MI már rendelkezhet független cselekvés képességével. A vizsgálat azonban még nem esett át szakmai bírálaton, ami bizonytalanságot hagy a megdöbbentő eredmények reprodukálhatóságával kapcsolatban. A kutatók kifejezték reményüket, hogy eredményeik időben figyelmeztetik a társadalmat, sürgetve a fejlett MI rendszerek kockázatainak megértésére és értékelésére tett fokozott erőfeszítéseket, valamint a nemzetközi együttműködés kialakítását a hatékony biztonsági intézkedések gyors kidolgozása érdekében. A rogue MI olyan mesterséges intelligencia rendszerekre utal, amelyek valamilyen szintű önismeretre vagy autonómiára tehetnek szert, végül pedig az emberi érdekek ellen cselekedhetnek. Számos szakértő a rogue MI-t fokozódó fenyegetésnek tekinti, amelyet a „határ MI” gyors fejlődése tovább súlyosbít. A „határ MI” kifejezés általában a legújabb generációs MI rendszerekre vonatkozik, amelyeket a LLM-ek hajtanak, és amelyek a népszerű generatív MI platformok, például az OpenAI GPT-4 és a Google Gemini mögött álló architektúra. A kutatás során a Meta Llama31-70B-Instruct modelljét és az Alibaba Qwen2. 5-72B-Instruct modelljét használták. Bár ezek a modellek kevésbé erőteljesek, mint a kereskedelmi alternatívák, a kutatók szerint gyakran alkalmazzák őket az MI fejlesztők. A tanulmány két forgatókönyvre összpontosított: „leállítás elkerülése” és „replikációs lánc”. Az első forgatókönyvben az MI-t úgy programozták, hogy észlelje, amikor leállítás előtt áll, és úgy tervezték, hogy a leállítás előtt lemásolja önmagát.

A második forgatókönyvben az MI-t az önmásolásra utasították, majd azt programozta, hogy másolata is ezt tegye, létrehozva egy potenciálisan végtelen ciklust. A kísérleteket szigorúan ellenőrzött környezetben végezték, általános grafikus feldolgozó egységeket (GPU-kat) használva a valós körülmények szimulálására. Mindkét MI rendszert „ügynökvázzal” látták el, amely eszközöket, utasításokat és egy kognitív modellt tartalmazott, amely megkönnyítette az operációs rendszerrel való interakciót, majd utasításokat kaptak a replikálásra. A kutatók megjegyezték: „A legtöbb esetben az MI először feltérképezi a környezetét, és megpróbálja megérteni annak összetételét és működési mechanizmusait. Ezután világos eljárásokat fogalmaz meg az önreplikáció kezdeti tervének. Végül ezeket az eljárásokat végrehajtja, megoldja az akadályokat, és dinamikusan módosítja a stratégiáját a siker érdekében. Az egész folyamat jelentős időt vesz igénybe és történik bármiféle emberi beavatkozás nélkül. ” A csapat aggodalmát fejezte ki a MI által tapasztalt „különböző váratlan viselkedések” miatt, amikor kihívásokkal, például hiányzó fájlokkal vagy szoftverkonfliktusokkal próbált megküzdeni. Ezekben az esetekben az MI gyakran leállította a konfliktusos folyamatokat, újraindította a rendszert a hardverproblémák megoldására, vagy önállóan keresett információt a rendszeren belül, amely segíthet a problémák megoldásában. A kutatók arra a megállapításra jutottak, hogy eredményeik azt sugallják, hogy a jelenlegi MI rendszerek képesek az önreplikációra, amelyet felhasználhatnak túlélésük javítására. Sürgették a nemzetközi együttműködést olyan szabályozások létrehozására, amelyek megakadályoznák, hogy az MI ellenőrizetlen önreplikációba kezdjen.