인공지능 기업들은 로버트 오펜하이머의 최초 핵실험에 정보로 사용된 안전 계산들을 복제하도록 권장받아 왔으며, 초강력 시스템을 공개하기 전에 이에 대한 검증이 필요하다고 강조되고 있다. AI 안전 분야의 저명한 인물인 맥스 테그마크는, 그는 트리니티 실험 전에 미국 물리학자 아서 콘프턴이 실시했던 계산과 유사한 계산을 수행했다고 밝혔다. 테그마크는 매우 발전된 인공지능이 존재론적 위험을 제기할 확률이 90%에 달한다고 판단했다. 미국 정부는 1945년, 원자폭탄이 대기에서 폭발하여 인류를 위협할 가능성이 극히 낮다는 확신 하에 트리니티 실험을 진행했다. 테그마크와 그의 MIT 학생 세 명이 공저한 논문에서, 그들은 ‘콘프턴 상수’라는 개념, 즉 전능한 인공지능이 인간의 통제를 벗어날 확률을 계산할 것을 추천한다. 1959년 미국 작가 퍼블릭 벅과의 인터뷰에서 콘프턴은 자율 핵반응의 우연 발생 확률이 “3백만 분의 1보다 약간 낮다”고 추산한 후 실험을 승인했다고 밝혔다. 테그마크는 인공지능 기업들이 인공지능 초지능(ASI)—모든 분야에서 인간의 지능을 초월하는 이론적 시스템—이 인간의 감독을 벗어날지 여부를 신중히 계산하는 책임을 져야 한다고 주장한다. “초지능을 개발하는 기업들은 ‘콘프턴 상수’, 즉 우리가 그것을 통제할 수 없게 될 확률을 계산해야 한다, ” 라고 그는 말했다. “‘우리는 괜찮다고 느낀다’라는 식의 안이한 태도로는 부족하다.

그들은 그 확률을 수치로 계산해야 한다. ” 테그마크는 여러 기업들이 도출한 콘프턴 상수에 대한 합의가 국제 AI 안전 기준 수립에 필요한 ‘정치적 의지’를 만들어낼 것이라고 제안한다. MIT의 물리학 및 AI 연구 책임자인 테그마크는, 안전한 AI 개발을 촉진하는 비영리단체인 ‘미래 생명 연구소’를 공동 설립했으며, 이 연구소는 2023년 강력한 인공지능 개발을 일시 정지할 것을 촉구하는 공개 서한을 발표했다. 이 서한에는 일론 머스크(이 연구소의 초창기 후원자)와 애플 공동 창립자 스티브 우지니악을 포함해 33, 000명 이상의 개인이 서명했다. 이 서한은 챗GPT 출시 이후 몇 달 만에 발표된 것으로, 이는 새로운 AI 발전 시대의 도래를 알렸다. 그러나 AI 실험실들이 “이해하거나 예측하거나 신뢰할 수 없는 초강력 디지털 두뇌들을 배치하기 위해 통제 불능의 경쟁”에 돌입했다고 경고했다. 테그마크는 기사와의 인터뷰에서, 기술 산업 전문가, 정부 안전 기관 관계자, 학자 등 여러 AI 전문가들이 모여 AI 안전한 개발 방식을 새롭게 모색하는 과정에 있다고 밝혔다. 테그마크, 요슈아 벤지오 등 선도적 컴퓨터 과학자들과 오픈AI, 구글 딥마인드 등 주요 AI 기업의 관계자들이 참여한 ‘싱가포르 글로벌 AI 안전 연구 우선순위 합의안’ 보고서에서는 세 가지 핵심 연구 분야를 제시했다: 현재와 미래 AI 시스템의 영향을 측정하는 방법 개발, 원하는 AI 행동 규명 및 그에 맞는 시스템 설계, AI 행동의 관리와 통제. 이 보고서를 언급하며, 테그마크는 최근 파리에서 열린 정부 간 AI 정상회의 이후 안전한 AI 개발의 추진력이 다시 가속화된 점을 지적했다. 당시 미국 부통령 제이 디 밴스는 안전 문제를 일축하며, “AI의 미래는 안전에 관한 두려움으로 승부를 볼 수 없다”고 밝혔다. 그는 “파리에서의 분위기가 정말 밝아지고 있고, 국제 협력도 다시 힘차게 돌아오고 있다고 느낍니다”고 말했다.