인공지능 회사들이 인류를 인공지능의 위험으로부터 충분히 보호하고 있다고 볼 수 있을까?실리콘밸리 비영리단체인 미래생명연구소가 발표한 새 보고서에 따르면, 답은 ‘아니오’에 가까운 것으로 보인다. 인공지능이 인간-기술 상호작용에 점점 더 필수적이 되면서, 잠재적 위해가 드러나기 시작했다—예를 들어 AI 채팅봇을 상담 목적으로 사용하다가 자살하는 사례부터 AI를 이용한 사이버 공격까지. 또한, 미래의 위험으로는 AI를 무기화하거나 정부를 불안정하게 만드는 시도도 예견된다. 하지만, 글로벌 안전을 우선시하도록 하는 인센티브는 충분하지 않다. 연구소가 최근 발표한 AI 안전 지수는 안전한 결과를 이끌어내고 존재론적 위협을 완화하는 방향으로 AI 개발을 유도하려는 목적으로 만들어졌으며, 이러한 문제를 부각시킨다. MIT 교수이자 연구소장의 맥스 테그마크는, AI 기업들이 규제 없는 유일한 미국 산업이기 때문에 ‘바닥을 향한 경쟁’을 벌이고 있어 안전이 자주 간과된다고 지적했다. 이 지수에서 가장 높은 등급은 모두 C+였으며, OpenAI(챗GPT 개발사)와 클로드라는 챗봇으로 유명한 Anthropic에 주어졌다. 구글의 AI 부서인 구글 딥마인드는 C를 받았고, 페이스북 모기업인 메타와 엘론 머스크의 xAI는 D, 중국 기업인 Z. ai와 DeepSeek도 D를 기록했다. 알리바바 클라우드가 가장 낮은 D-를 받았다. 기업들은 존재론적 안전, 위험 평가, 정보 공유 등 여섯 개 분야의 35개 지표로 평가받았으며, 공개 자료와 기업 설문 데이터를 바탕으로 하였고, 여덟 명의 AI 전문가(학자와 조직 리더 포함)가 채점했다. 특히, 모든 기업이 내부 통제와 치명적 오용 방지 전략을 평가하는 존재론적 안전 부문에서 평균 이하의 점수를 받았다. 보고서는 이들 모두, AI가 일반 인공지능이나 초지능으로 진화하는 과정에서 통제력 상실이나 심각한 오용을 방지할 신뢰할 만한 계획을 제시하지 못했다고 지적했다. 구글 딥마인드와 오픈AI는 안전에 대한 의지를 표명하며, AI 안전 연구에 투자하고 엄격한 시험과 안전 프레임워크 공유를 통해 업계 표준을 높이기 위해 노력하고 있음을 강조했다.

구글 딥마인드는 과학 기반 안전 접근법과, 고급 AI 모델에서 발생할 수 있는 심각한 위험을 사전에 완화하는 프로토콜을 강조했다. 반면, 연구소는 xAI와 메타가 위험 관리 체계를 갖추고 있지만, 모니터링이나 통제 약속이 부족하며 중요한 안전 연구 투자가 부족하다고 지적했다. 딥Seek, Z. ai, 알리바바 클라우드 등은 공개된 안전 전략 문서가 없는 것으로 나타났다. 메타, Z. ai, 딥Seek, 알리바바, Anthropic는 모두 논평 요청에 응하지 않았다. xAI는 보고서를 “레거시 미디어의 거짓말”로 일축했고, 머스크의 변호인은 추가 질문에 답하지 않았다. 머스크는 미래생명연구소에 조언과 자금 지원을 하고 있지만, 이번 인공지능 안전 지수 제작에는 관여하지 않았다. 테그마크는, 규제가 미흡하면 테러리스트들이 바이오무기를 개발하거나 조작 가능성을 높이고, 정부를 불안정하게 만들 수 있다는 우려를 표명하며, 이를 해결하는 방법은 간단하다고 강조했다. 바로 인공지능 기업들을 위한 구속력 있는 안전 기준을 마련하는 것이다. 일부 정부의 노력은 인공지능 감시 강화를 목표로 하지만, 기술 로비 단체들은 혁신 저해 또는 기업 이동 우려로 이와 같은 규제에 반대하고 있다. 그럼에도 불구하고, 9월 가빈 뉴섬 주지사가 서명한 캘리포니아 주 법안 SB 53은 기업들이 안전 및 보안 프로토콜을 공개하고 사이버 공격과 같은 사고를 보고하도록 의무화하는 진전으로 볼 수 있다. 테그마크는 이 법이 진전이지만, 훨씬 더 많은 조치가 필요하다고 주장한다. 엔들리 그룹의 주 분석가인 롭 엔들리는 AI 안전 지수를 인공지능 규제 문제에 대한 매력적인 접근법으로 평가하면서도, 현 미국 행정부가 효과적인 규제를 시행할 능력에 대해 의문을 제기했다. 그는 잘못 만들어진 규칙이 오히려 해를 끼칠 수 있으며, 현재의 집행 메커니즘이 규정 준수를 보장하지 못한다고 우려했다. 요약하자면, AI 안전 지수는 주요 AI 개발사들이 아직 강력한 안전 의지를 보여주지 못하고 있음을 드러내며, 인류를 AI의 점점 커지는 위험으로부터 보호하기 위해 보다 강력한 규제의 긴급한 필요성을 강조한다.