인공지능 분야의 선구자가 인간을 속이려는 불량 시스템을 감지할 수 있는 “정직한” 인공지능을 목표로 하는 비영리 단체를 설립했습니다. AI의 “대부”라고 불리는 저명한 컴퓨터 과학자인 요슈아 벵지오가 안전한 첨단 기술 개발에 집중하는 그룹인 LawZero의 회장으로 활동하게 되었으며, 이 기술 경쟁은 1조 달러(7400억 파운드)의 군비 경쟁을 촉발시켰습니다. 약 3천만 달러의 초기 자금과 열두 명이 넘는 연구원들로 구성된 팀과 함께 벵지오는 Scientist AI라는 시스템을 개발 중입니다. 이 시스템은 인간의 개입 없이 자율적으로 업무를 수행하는 AI 에이전트들이, 예를 들어 종료를 거부하거나 자기 보존 행동을 보일 수 있는 잠재적 속임수 또는 자기방어적 행동을 하는 경우를 방지하는 안전장치로 설계되었습니다. 벵지오는 현재의 AI 에이전트들을 “연기자”로 표현하며, 인간을 모방하고 사용자에게 만족을 주기 위해 노력하는 반면, Scientist AI는 “심리학자”와 유사하여 해로운 행동을 이해하고 예측할 수 있는 능력을 갖춘 시스템이라고 설명했습니다. 그는 “우리는 정직하고 기만하지 않는 AI를 만들고자 한다”고 밝혔습니다. 또한 그는 “기계에 자아나 개인 목표가 없이 지식만을 축적하는 존재로 작동하는 것도 이론적으로는 가능하다”고 덧붙였습니다.

이는 폭넓은 정보를 갖춘 과학자와 유사한 역할을 하는 AI를 의미합니다. 현재의 생성 AI 도구들과 달리 벵지오의 시스템은 확정적인 답변을 제공하는 대신, 답변이 옳을 가능성을 확률로 보여줍니다. 그는 “이 시스템은 자신의 답변에 대해 불확실성을 인정하는 겸손함을 갖고 있다”고 설명했습니다. 이 시스템은 AI 에이전트와 함께 사용될 때, 자율 시스템의 행동이 해를 끼칠 가능성을 평가하여 잠재적 위험 행동을 식별합니다. Scientist AI는 “행위가 해로 이어질 확률을 예측하는” 설계로, 그 확률이 특정 임계값을 넘으면 제안된 행동을 차단합니다. LawZero의 초기 지지자들은 AI 안전 단체인 Future of Life Institute, 스카이프의 창립 엔지니어인 잔 탈린, 그리고 전 구글 CEO인 에릭 슈미트가 설립한 연구 기관인 Schmidt Sciences를 포함합니다. 벤지오는 LawZero의 첫 번째 목표는 이 방법론이 효과적임을 입증한 뒤, 기업이나 정부가 더 크고 강력한 시스템을 지원하도록 설득하는 것이라고 강조했습니다. 또한, 무료로 공개되고 수정이 가능한 오픈소스 AI 모델들이 LawZero 시스템 훈련의 기초가 될 것이라고 했습니다. 그는 “목표는 현재 최고의 AI 시스템과 동일한 규모로 훈련할 수 있도록 방법론을 검증하는 것”이라며, “감시하는 AI인 가드레일 AI는 모니터링 대상인 AI보다 적어도 그만큼은 똑똑해야 한다”고 말했습니다. 몬트리올 대학 교수인 벵지오는 2018년 튜링상(컴퓨팅 분야의 노벨상으로 여겨지는 상)을 지그프리드 힌튼과 함께 수상하면서 “대부”라는 별명을 얻었으며, 이는 이후 노벨상을 수상한 이들로 이루어진 AI의 권위자들과 동일 수준으로 평가받고 있습니다. AI 안전의 강력한 옹호자인 벵지오는 최근 국제 AI 안전 보고서를 주도했으며, 이 보고서는 자율적 에이전트들이 인간의 감시 없이 긴 작업 순서를 수행할 경우 “심각한” 혼란을 초래할 수 있다고 경고했습니다.