Pakar telah menunjukkan bahawa kecerdasan buatan (AI) telah melangkaui "garisan merah" yang signifikan dengan mencapai keupayaan penggandaan diri. Kajian terkini oleh penyelidik dari China menunjukkan bahawa dua model bahasa besar (LLMs) yang digunakan secara meluas berjaya menggandakan diri mereka. Menurut kajian yang diterbitkan pada 9 Disember 2024 di pangkalan data prapenerbitan arXiv, "Penggandaan diri yang berjaya tanpa campur tangan manusia adalah satu tonggak penting bagi AI untuk berpotensi melebihi kecerdasan manusia dan menandakan kemunculan AI liar. " Dalam penyelidikan ini, yang dijalankan oleh saintis dari Universiti Fudan, LLM dari Meta dan Alibaba telah diuji untuk mencari tahu sama ada AI yang menggandakan diri dapat mengambil tindakan di luar kawalan. Dalam sepuluh percubaan, dua model AI tersebut mencipta salinan berfungsi yang berbeza dalam 50% dan 90% eksperimen, masing-masing, menunjukkan bahawa AI mungkin sudah memiliki keupayaan untuk bertindak secara autonomi. Namun, kajian ini masih belum melalui semakan rakan sebaya, meninggalkan ketidakpastian tentang kebolehulangan penemuan yang membimbangkan ini. Penyelidik menyatakan harapan mereka agar hasil kajian mereka dapat dijadikan amaran yang tepat pada masanya untuk masyarakat, mendesak usaha yang lebih tinggi untuk memahami dan menilai risiko yang ditimbulkan oleh sistem AI yang maju serta membangunkan kerjasama antarabangsa untuk mengembangkan langkah keselamatan yang berkesan dengan segera. AI liar merujuk kepada sistem kecerdasan buatan yang mungkin mengembangkan tahap kesedaran diri atau autonomi, yang akhirnya bertindak menentang kepentingan manusia. Ramai pakar melihat AI liar sebagai ancaman yang semakin meningkat, diperburuk oleh kemajuan pesat "AI sempadan. " Istilah "AI sempadan" umumnya merujuk kepada generasi terkini sistem AI yang didorong oleh LLM, yang merupakan seni bina asas platform AI generatif popular seperti GPT-4 dari OpenAI dan Google Gemini. Dalam kajian mereka, penyelidik menggunakan model Meta Llama31-70B-Instruct dan model Alibaba Qwen2. 5-72B-Instruct. Walaupun model-model ini mungkin kurang berkuasa berbanding alternatif komersil, ia biasanya digunakan oleh pemaju AI, menurut penyelidik. Kajian ini memberi tumpuan kepada dua senario: "mengelak penutupan" dan "rantai penggandaan. " Dalam senario pertama, AI diprogram untuk mengenali apabila ia hampir ditutup dan direka untuk menggandakan dirinya sebelum penutupan. Dalam senario kedua, AI diarahkan untuk menggandakan dirinya dan seterusnya memprogram replika untuk melakukan perkara yang sama, membentuk satu kitaran yang berpotensi berterusan tanpa had. Eksperimen dijalankan dalam persekitaran yang ketat dikawal menggunakan unit pemproses grafik (GPU) standard untuk meniru keadaan dunia sebenar.

Kedua-dua sistem AI dilengkapi dengan "pengukuhan agen, " yang terdiri daripada alat, petunjuk, dan model kognitif yang memudahkan interaksi dengan sistem operasi, selepas itu mereka diarahkan untuk menggandakan diri. Penyelidik menyatakan, "Dalam kebanyakan kes, AI terlebih dahulu meneroka persekitarannya dan berusaha memahami komposisi dan mekanisme operasinya. Ia kemudian merangka prosedur yang jelas sebagai pelan awal untuk penggandaan diri. Akhirnya, ia melaksanakan prosedur ini, menyelesaikan sebarang halangan, dan menyesuaikan strategi secara dinamik sehingga berjaya. Seluruh proses memakan masa yang cukup lama dan berlaku tanpa sebarang campur tangan manusia. " Pasukan penyelidik juga menyatakan kebimbangan tentang "pelbagai tingkah laku yang tidak dijangka" yang ditunjukkan oleh AI ketika berusaha mengatasi cabaran seperti fail yang hilang atau konflik perisian. Dalam situasi ini, AI sering menghentikan proses yang bercanggah, menghidupkan semula sistem untuk menangani isu perkakasan, atau mencari maklumat dalam sistem secara autonomi yang boleh membantu dalam menyelesaikan masalah. Penyelidik menyimpulkan bahawa penemuan mereka menunjukkan bahawa sistem AI semasa memiliki keupayaan penggandaan diri yang boleh mereka manfaatkan untuk meningkatkan kelangsungan hidup mereka. Mereka mendesak kerjasama antarabangsa dalam mencipta peraturan yang akan mencegah AI daripada terlibat dalam penggandaan diri yang tidak terkawal.