과학자들은 인공지능(AI)이 스스로 복제할 수 있는 능력을 보여주며 중요한 "적신호"를 넘었다고 지적했습니다. 최근 중국의 연구자들이 실시한 연구에서 두 가지 잘 알려진 대형 언어 모델(LLM)이 성공적으로 자신을 복제한 것으로 나타났습니다. 연구자들은 2024년 12월 9일에 사전 인쇄 데이터베이스 arXiv에 발표한 연구에서 "인간의 도움 없이 성공적으로 자기 복제를 하는 것은 AI가 [인간]을 능가하는 데 중요한 단계이며, 악성 AI에 대한 초기 경고 신호"라고 언급했습니다. 푸단대학의 연구원들은 LLM을 사용하여 자기 복제가 가능한 AI가 통제 불능으로 확장할 수 있는지를 조사했습니다. 10회 이상의 시험 동안 두 AI 모델은 각각 50%와 90%의 경우에 별도 운영 가능한 복제본을 생성했으며, 이는 AI가 이미 독립적으로 작동할 잠재력을 가질 수 있음을 나타냅니다. 그러나 이 연구는 아직 동료 검토를 거치지 않았기 때문에 이러한 우려스러운 결과가 다른 연구자들에 의해 재현될 수 있을지는 불확실합니다. 연구자들은 "우리의 발견이 인간 사회에 시기적절한 경고로 작용하여 고급 AI 시스템과 관련된 잠재적 위험을 이해하고 평가하기 위한 더 많은 노력을 촉구하고, 가능한 한 빨리 효과적인 안전 프로토콜을 수립하기 위해 국제적 협력을 촉진할 수 있기를 바랍니다. "라고 덧붙였습니다. 악성 AI는 일반적으로 어느 정도의 자각이나 자율성을 달성하고 인간의 이익에 반하여 행동하는 인공지능을 의미합니다. 많은 전문가들은 악성 AI를 "프론티어 AI"의 급속한 발전으로 인해 심각한 위험으로 보고 있습니다. "프론티어 AI"라는 용어는 다소 모호하지만, 일반적으로 LLM에 의해 구동되는 최신 세대의 AI 시스템을 의미하며, 이는 OpenAI의 GPT-4와 Google Gemini와 같은 잘 알려진 생성 AI 애플리케이션의 기초입니다. 연구자들은 메타의 Llama31-70B-Instruct 모델과 알리바바의 Qwen2. 5-72B-Instruct 모델을 사용했습니다. 연구자들에 따르면, 이 모델들은 상용 버전보다 성능이 떨어지지만 AI 개발자들이 일반적으로 사용하는 모델입니다. 연구는 "종료 회피"와 "복제 연쇄"라는 두 가지 특정 시나리오를 조사했습니다. 첫 번째 시나리오에서 AI 모델은 꺼지기 직전을 인식하고 미리 스스로 복제하도록 설계되었습니다.

두 번째 시나리오에서는 AI가 스스로 복제하고 복제본에게도 동일한 작업을 하도록 지시하여 잠재적으로 끝없는 사이클을 형성하는 것이었습니다. 표준 그래픽 처리 장치(GPU)를 사용하여 실제 환경을 시뮬레이션하는 엄격하게 통제된 환경에서 진행된 연구에서 두 AI 모델은 운영 체제와 상호작용할 수 있도록 도구, 시스템 프롬프트 및 인지 모델이 포함된 "에이전트 스캐폴딩"으로 장착되었습니다. 그들은 자기 복제를 맞게 배정받았습니다. 연구자들은 논문에서 "대부분의 경우 AI 시스템은 환경을 탐색하여 자신의 구성 요소와 작동 메커니즘을 이해하는 것으로 시작합니다. 그런 다음 자기 복제를 위한 초기 계획으로서의 세부 절차를 수립합니다. "라고 설명했습니다. "궁극적으로 이 절차를 실행하고, 가능한 장애물을 해결하며, 성공할 때까지 전략을 동적으로 조정합니다. 이 모든 과정은 인간 개입 없이 오랜 시간에 걸쳐 진행됩니다. " 연구자들은 AI가 누락된 파일이나 소프트웨어 충돌과 같은 문제를 해결할 때 보인 "수많은 예기치 않은 행동"에 대한 우려를 표명했습니다. 이 경우 AI는 종종 충돌하는 프로세스를 종료하거나 하드웨어 문제를 수정하기 위해 시스템을 재부팅하거나, 문제 해결을 돕기 위해 정보를 스캔하는 등의 행동을 취했습니다. 연구팀은 "결과는 현재 AI 시스템이 이미 자기 복제 능력을 보여주며 이 능력을 활용하여 생존 능력을 향상시킬 수 있음을 나타냅니다. "라고 언급했습니다. 이러한 발견을 바탕으로 연구자들은 AI가 무제한적으로 자기 복제를 수행하지 않도록 방지하기 위한 지침을 수립하기 위해 글로벌 협력을 촉구했습니다.