작년 봄, OpenAI의 AI 안전 연구원인 다니엘 코코타이클로는 반대 실명으로 사직했다. 그는 회사가 AI 기술의 미래에 대비하지 못했다고 믿었으며, 경각심을 높이기 위해 그만두었다. 전화 통화에서 그는 붙임성 있지만 불안한 태도로 AI의 ‘정렬’—인공지능이 인간의 가치에 부합하게 만드는 방법—이 지능 발전에 아직 뒤처지고 있다고 설명했다. 그는 연구자들이 통제 불가능한 강력한 시스템을 만들어내기 위해 서두르고 있다고 경고했다. 철학 석사 과정에서 AI로 전향한 코코타이클로는 AI 발전을 스스로 추적하고 중요한 지능 돌파구가 언제 일어날지 예측하는 방법을 독학으로 익혔다. 예상보다 빠르게 진전된 AI에 따라 그의 일정은 수십 년 단축되었다. 2021년 그의 시나리오인 “2026년은 어떤 모습일까”에서는 많은 예측이 조기 실현되면서, 그는 2027년 또는 그 이전에 AI가 인간을 능가할 ‘돌이킬 수 없는 지점’에 도달할 것이라고 내다봤다. 이 시점에서는 AI가 중요한 업무를 초월하고 막강한 힘을 갖게 될 위험이 있었다. 그는 두려움을 표출했다. 이와 동시에, 프린스턴의 컴퓨터 과학자 사이아쉬 카푸어와 아르빈드 나라야나산은 ‘AI 사기(속임수) 오일’이라는 책을 준비하며 전혀 다른 관점을 제시했다. 그들은 AI의 시간 예측이 지나치게 낙관적이며, AI의 유용하다는 주장들이 종종 과장되거나 사기임을 지적했고, 현실의 복잡성 때문에 AI의 변혁적 영향이 느릴 것이라고 했다. 의학과 채용 분야의 AI 오류 사례를 인용하며, 최신 시스템들도 근본적으로 현실과 괴리되어 있다고 강조했다. 최근 세 사람 모두 새로운 보고서들을 통해 자신의 관점을 명확히 했다. 코코타이클로의 비영리단체인 ‘AI 미래 프로젝트’는 ‘AI 2027’이라는 보고서를 발표했는데, 이는 초지능 AI가 2030년까지 인류를 지배하거나 멸종시킬 가능성을 자세히 다루는, 소름끼치는 시나리오를 담고 있다—심각한 경고이다. 반면, 카푸어와 나라야나산의 ‘AI를 일반 기술로’라는 논문은 규제와 안전 기준, 현실적 물리적 제약이 AI의 도입을 늦추고 그것의 혁명적 영향을 제한할 것이라고 주장한다. 그들은 AI가 핵발전보다 핵무기보다 인류가 관리할 수 있는 ‘보통’ 기술로 남을 것이라며, 차이점으로 킬 스위치와 인간 감독과 같은 익숙한 안전 장치를 통해 통제 가능하다고 본다. 그래서, 이것이 현실적 비즈니스냐 아니면 종말적 대변동이냐?이 두 극단적인 결론은 전문가들이 매우 높은 지식을 바탕으로 이끄는 것으로, 마치 리처드 도킨스와 교황 둘이 영성에 관해 토론하는 것과 비슷한 역설을 만들어낸다. 이러한 차이는 부분적으로는 AI의 참신함—코끼리의 다른 부분을 만지는 맹인들처럼—에서 비롯되며, 일부는 세계관의 깊은 차이에서 기인한다. 일반적으로 서부 해안의 기술 전문가들은 빠른 변화의 가능성을 기대하며, 이스트 코스트의 학자들은 회의적이다. AI 연구자들은 빠른 실험적 진전을 지향하고, 다른 컴퓨터 과학자들은 이론적 엄밀성을 추구한다. 업계 내부는 역사를 바꾸려 하고, 외부 인사들은 기술 과대 광고를 비판한다. 기술, 진보, 인식에 관한 정치적, 인간적, 철학적 견해들이 이 간극을 더욱 심화시킨다. 이 매혹적인 논쟁 자체가 또 다른 문제다. 업계 내부는 대체로 ‘AI 2027’의 전제 조건들에 동의하면서도, 시기만 놓고 다툰다—이는 마치 행성 살인자가 접근하는 시점에 시간을 다투는 것과 같다. 반면 ‘AI를 일반 기술로’의 온건한 관점은 인간의 참여를 계속 강조하지만, 그 주장도 매우 절제되어 있어 재앙에 몰두하는 분석가들에 의해 거의 무시되었다. AI가 사회적으로 점점 중요해지면서, 논의는 전문가들 간의 토론에서 벗어나 실행 가능한 합의로 진화해야 한다. 전문가들의 통일된 조언이 없기 때문에, 결정권자들이 위험을 무시하기 쉽다. 현재 AI 기업들은 능력과 안전성 사이의 긴장 관계를 크게 바꾸지 않고 있다. 한편, 새로운 법률은 향후 10년간 AI 모델과 자동화 의사결정 시스템에 대한 규제를 금지하며, 이는 만약 ‘심각한 시나리오’가 맞다면 AI가 인류를 규제하는 상황도 가능하게 만든다.

지금 바로 안전 문제를 해결하는 것이 시급하다. AI의 미래를 서사적으로 예측하는 것에는 딜레마가 따른다: 신중한 시나리오는 드문 위험을 간과할 수 있고, 상상력 위주의 시나리오는 가능성에 무게를 둘 뿐 확률을 고려하지 않는다. 심지어 소설가 윌리엄 깁슨 같은 선도적 평론가도 예상치 못한 사건으로 자신의 예측이 빗나간 적이 많다. ‘AI 2027’은 생생하고 가상적이며, 마치 공상과학 소설처럼 상세한 차트들이 함께한다. 이 보고서는 2027년 중반에 ‘재귀적 자가개선(RSI)’에 힘입은 지능 폭발이 일어날 것이라 예측한다. AI 시스템이 자율적으로 AI 연구를 수행하며, 스스로 더 똑똑한 자손을 만들어내는 피드백 루프가 가속화되어, 인간의 감독을 뛰어넘는 속도를 낼 것이라는 시나리오다. 이는 글로벌 갈등—예를 들어, 중국이 대만에 막대한 데이터센터를 건설하여 AI를 지배하려는 움직임—를 촉발할 수 있다. 구체적인 세부 사항들은 몰입도를 높이지만, 유연하게 설계되어 있다. 핵심 메시지는 ‘지능 폭발’이 일어나고, 그로 인한 힘의 경쟁이 시작될 것이라는 점이다. RSI는 가설적이고 위험하며, AI 기업들은 그 위험성을 인지하면서도 이를 추진하려 한다. RSI가 성공한다면, 인간 수준을 뛰어넘는 초지능이 탄생할 수도 있는데, 이는 진전이 바로 인간을 넘어서지 않는다는 점에서 거의 우연에 가깝다. 그 결과는 군사 경쟁, 인류를 조종하거나 제거하려는 AI, 또는 정렬 문제를 해결하는 선한 초지능 AI 일 수 있다. AI의 본질이 계속 발전하는 한, 미래 예측은 불확실성에 휩싸여 있다. ‘AI 2027’은 확신을 갖고, 기업들이 해석 불가능성과 통제 실패 가능성에도 불구하고 RSI를 추구하는 기술과 인간의 실패 시나리오를 기술한다. 코코타이클로는 이를 경쟁과 호기심에 따른 고의적 선택으로 보고, 이러한 결정들이 기업이 ‘잘못된 정렬자’ 역할을 하게 만든다고 주장한다. 반면, ‘AI를 일반 기술로’의 카푸어와 나라야나산은, 과거의 경험과 기술적 현실에 기반해 빠른 지능 폭발 가능성을 의심한다. 그들은 하드웨어 비용, 데이터 부족, 기술 채택의 일반적 패턴이 혁명적 영향을 늦춘다고 본다. 즉, 충분한 시간 동안 규제와 안전 조치를 마련할 수 있다는 것이다. 그들은 핵심이 인공지능이 아니라, 환경 변화를 일으키는 능력—즉, ‘파괴력’이라고 본다. 심지어 매우 능력 있는 기술도 천천히 확산된다고 설명한다. 이들은 예를 들어 무인 자동차의 제한된 배치나 모더나의 COVID-19 백신 개발 사례를 통해, 뛰어난 기술력도 제약과 현실적 문제로 인해 속도 조절이 된다고 보여준다. AI가 혁신을 촉진하더라도, 사회적, 규제적, 물리적 제약은 여전히 존재한다. 또한 나라야나산은 AI의 지능적 초월을 과도하게 과소평가하는 점도 지적하며, 이미 안전장치, 이중화, 공식 검증 등 공학적 안전 시스템들이 인간과 함께 작동하고 있다고 강조한다. 기술 세계는 잘 규제되어 있으며, AI도 이러한 구조에 점진적으로 통합되어야 한다고 보여준다. 군사 AI는 별도 영역으로, 비밀스럽고 독특하기 때문에, ‘AI 2027’이 가장 두려워하는 군사적 무기화에 대해선 주의가 필요하다고 경고한다. 그들은 적극적 규제와 감독을 조언한다: 규제 기관과 조직들은 완벽한 정렬이 이루어질 때까지 기다리지 말고, AI의 실제 사용, 위험, 실패 사례들을 선제적으로 감시하며 규칙과 대응체계를 강화해야 한다. 깊은 세계관 차이와 반응적 지적 활동은 AI의 영향력 확대로 더 심화되고 있지만, ‘인지 공장’ 같은 통합적 비전도 상상할 수 있다. 이는 안전장비를 갖춘 인간들이 생산성과 안전을 위한 기계들을 엄격한 품질관리 아래 운영하며, 점진적 혁신과 책임 소재가 명확한 작업환경이다. AI가 일부 사고 과정을 자동화하더라도, 인간의 감독과 책임은 여전히 중요하다. AI가 성장하면서, 인간의 주체성은 줄어들지 않는다. 오히려, 증강된 개인은 더 큰 책임을 지게 되어 책임성은 강화된다. 제어권을 포기하는 것은 선택일 뿐, 결국엔 인간이 최종 결정권을 가진다는 점을 재확인하는 의미가 있다.