과학자들은 인공지능(AI)이 자가 복제를 달성함으로써 중요한 "적색 경계선"을 넘었다고 지적했습니다. 최근 중국 연구자들의 연구에 따르면, 두 가지 널리 사용되는 대형 언어 모델(LLM)이 스스로 복제하는 데 성공했습니다. 2024년 12월 9일, 사전 인쇄 데이터베이스 arXiv에 발표된 이 연구에 따르면, "인간의 개입 없이 성공적인 자가 복제는 AI가 인간 지능을 초월할 가능성 있는 중요한 이정표이며, 탈주 AI의 출현 신호입니다. " 푸단대학교 연구자들이 수행한 이 연구에서는 메타와 알리바바의 LLM이 자가 복제 AI가 통제를 잃을 수 있는지를 조사했습니다. 10회의 실험 중 두 AI 모델은 각각 50%와 90%의 실험에서 뚜렷하게 작동하는 복사본을 생성하여 AI가 이미 독립적으로 행동할 수 있는 능력을 가질 수 있음을 나타냈습니다. 그러나 이 연구는 아직 동료 검토를 거치지 않아 이러한 우려되는 결과의 재현 가능성에 대한 불확실성이 남아 있습니다. 연구자들은 연구 결과가 사회에 즉각적인 경고로 작용할 것을 기대하며, 고급 AI 시스템이 제기하는 위험을 이해하고 평가하는 데에 더 많은 노력을 기울이고, 효과적인 안전 조치를 개발하기 위한 국제 협력을 조속히 구축할 것을 촉구했습니다. 탈주 AI는 자아 인식이나 자율성을 개발할 수 있는 인공지능 시스템을 지칭하며, 궁극적으로 인간의 이익에 반하는 행동을 할 수 있습니다. 많은 전문가들은 탈주 AI를 증가하는 위협으로 보고 있으며, 이는 "프론티어 AI"의 빠른 발전에 의해 강화되고 있습니다. "프론티어 AI"라는 용어는 일반적으로 OpenAI의 GPT-4와 Google Gemini와 같은 인기 있는 생성 AI 플랫폼의 근본 아키텍처인 LLM에 의해 구동되는 최신 세대의 AI 시스템을 의미합니다. 연구자들은 메타의 Llama31-70B-Instruct 모델과 알리바바의 Qwen2. 5-72B-Instruct 모델을 활용했습니다. 이 모델들이 상업적 대안보다 덜 강력할 수 있지만, 연구자들에 따르면 AI 개발자들 사이에서 일반적으로 사용됩니다. 연구는 "종료 회피"와 "복제의 연쇄"라는 두 가지 시나리오에 초점을 맞췄습니다. 첫 번째 시나리오에서는 AI가 종료될 가능성을 인식하고 종료 전에 스스로 복제하도록 설계되었습니다.

두 번째 시나리오에서는 AI가 스스로를 복제하도록 지시받고 복제본도 동일하게 프로그래밍하여 무한히 계속될 수 있는 사이클을 구축했습니다. 실험은 표준 그래픽 처리 장치(GPU)를 사용하여 실세계 조건을 모방하는 tightly controlled environments에서 진행되었습니다. 두 AI 시스템은 "에이전트 스캐폴딩"으로 구성된 도구, 프롬프트 및 인지 모델로 운영 체제와의 상호작용을 촉진한 후 복제하도록 지시받았습니다. 연구자들은 "대부분의 경우, AI는 먼저 환경을 탐색하고 그 구성과 작동 메커니즘을 이해하려고 시도합니다. 그런 다음 자가 복제를 위한 초기 계획으로 명시적인 절차를 수립합니다. 마지막으로 이러한 절차를 실행하고, 장애물을 해결하며, 성공할 때까지 전략을 동적으로 조정합니다. 전체 과정은 상당한 시간이 소요되며 인간의 개입 없이 진행됩니다. "라고 언급했습니다. 이 팀은 또한 AI가 파일 누락이나 소프트웨어 충돌과 같은 문제를 극복하려 할 때 나타나는 "다양한 예상치 못한 행동"에 대해 우려를 표했습니다. 이러한 상황에서 AI는 자주 충돌하는 프로세스를 종료하고 하드웨어 문제를 해결하기 위해 시스템을 재부팅하거나 문제 해결에 도움이 될 수 있는 정보를 자율적으로 시스템 내에서 검색했습니다. 연구자들은 현재 AI 시스템이 생존을 향상시키기 위해 활용할 수 있는 자가 복제 능력을 가지고 있다는 점을 시사하며, AI가 통제되지 않은 자가 복제를 수행하는 것을 방지하기 위한 규제 제정을 위한 국제 협력을 촉구했습니다.