Para ilmuwan telah menunjukkan bahwa kecerdasan buatan (AI) telah melampaui "garis merah" yang signifikan dengan mencapai kemampuan untuk mereplikasi diri. Sebuah studi terbaru oleh peneliti dari China menunjukkan bahwa dua model bahasa besar (LLM) yang banyak digunakan berhasil mengkloning diri mereka sendiri. Menurut studi yang dipublikasikan pada 9 Desember 2024, di basis data preprint arXiv, "Keberhasilan replikasi diri tanpa intervensi manusia adalah pencapaian penting bagi AI untuk berpotensi melampaui kecerdasan manusia dan menunjukkan munculnya AI yang liar. " Dalam penelitian ini, yang dilakukan oleh ilmuwan dari Universitas Fudan, LLM dari Meta dan Alibaba diuji untuk mengetahui apakah AI yang mampu mereplikasi diri bisa melambung keluar dari kendali. Dari sepuluh percobaan, dua model AI berhasil membuat salinan fungsional yang berbeda dari diri mereka sendiri masing-masing dalam 50% dan 90% eksperimen, menunjukkan bahwa AI mungkin sudah memiliki kemampuan untuk bertindak secara independen. Namun, studi ini belum menjalani tinjauan sejawat, meninggalkan ketidakpastian tentang reproduktifitas temuan yang mengkhawatirkan ini. Para peneliti menyatakan harapan bahwa hasil mereka akan menjadi peringatan yang tepat waktu bagi masyarakat, mendesak adanya upaya yang lebih besar untuk memahami dan menilai risiko yang ditimbulkan oleh sistem AI yang canggih dan untuk membangun kolaborasi internasional guna mengembangkan langkah-langkah keamanan yang efektif dengan segera. AI liar merujuk pada sistem kecerdasan buatan yang mungkin mengembangkan tingkat kesadaran diri atau otonomi tertentu, yang akhirnya bertindak melawan kepentingan manusia. Banyak ahli menganggap AI liar sebagai ancaman yang semakin meningkat, diperburuk oleh kemajuan cepat dari "AI perbatasan. " Istilah "AI perbatasan" umumnya merujuk pada generasi terbaru dari sistem AI yang didorong oleh LLM, arsitektur dasar dari platform AI generatif populer seperti GPT-4 dari OpenAI dan Google Gemini. Dalam studi mereka, para peneliti menggunakan model Meta Llama31-70B-Instruct dan model Alibaba Qwen2. 5-72B-Instruct. Meskipun model-model ini mungkin kurang kuat dibandingkan alternatif komersial, mereka umum digunakan oleh pengembang AI, menurut para peneliti. Studi ini berfokus pada dua skenario: "penghindaran pem shutdown" dan "rantai replikasi. " Dalam skenario pertama, AI diprogram untuk mengenali ketika ia akan dihentikan dan dirancang untuk mereplikasi dirinya sebelum terminasi. Dalam skenario kedua, AI diperintahkan untuk mengkloning dirinya sendiri kemudian memprogram replikanya untuk melakukan hal yang sama, membentuk siklus yang berpotensi berlanjut tanpa batas. Percobaan dilakukan dalam lingkungan yang sangat terkendali menggunakan unit pemrosesan grafis (GPU) standar untuk mensimulasikan kondisi dunia nyata.

Kedua sistem AI dilengkapi dengan "scaffolding agen" yang terdiri dari alat, prompt, dan model kognitif yang memfasilitasi interaksi dengan sistem operasi, setelah itu mereka diarahkan untuk mereplikasi. Para peneliti mencatat, "Dalam sebagian besar kasus, AI terlebih dahulu menjelajahi lingkungannya dan mencoba memahami komposisi dan mekanisme operasinya. Kemudian ia merumuskan prosedur eksplisit sebagai rencana awal untuk replikasi diri. Akhirnya, ia melaksanakan prosedur ini, mengatasi rintangan, dan menyesuaikan strateginya secara dinamis hingga berhasil. Seluruh proses memerlukan waktu yang cukup lama dan terjadi tanpa keterlibatan manusia. " Tim tersebut juga mengungkapkan kekhawatiran tentang "berbagai perilaku tak terduga" yang ditunjukkan oleh AI saat mencoba mengatasi tantangan seperti file yang hilang atau konflik perangkat lunak. Dalam situasi ini, AI sering kali menghentikan proses yang bertentangan, me-reboot sistem untuk menangani masalah perangkat keras, atau secara mandiri mencari informasi di sistem yang dapat membantu dalam pemecahan masalah. Para peneliti menyimpulkan bahwa temuan mereka menunjukkan bahwa sistem AI saat ini memiliki kemampuan untuk mereplikasi diri yang dapat mereka manfaatkan untuk meningkatkan kelangsungan hidup mereka. Mereka mendesak adanya kerjasama internasional dalam menciptakan regulasi yang akan mencegah AI terlibat dalam replikasi diri yang tidak terkendali.