모든 지능이 공유하는 것은 무엇일까?얀 르꾸앙(Meta의 최고 AI 과학자)은 네 가지 핵심 특성에 대해 이야기한다. 올해 초 파리에서 열린 AI 액션 서밋에서 정치인과 AI 전문가들이 모여 AI 발전에 대해 논의했다. 이 행사에서 르꾸앙은 IBM의 AI 책임자인 앤서니 아누치아타에게 지능에 대한 자신의 기본 정의를 전달했다. 그는 “모든 동물, 혹은 비교적 똑똑한 동물—그리고 확실히 인간이 갖춘—지능적 행동의 네 가지 필수 특성이 있다”고 설명했다. “이것은 물리적 세계를 이해하는 것, 지속적인 기억을 가지는 것, 추론 능력, 그리고 특히 계층적 계획을 통한 복잡한 행동을 계획하는 능력이다. ” 르꾸앙은 AI, 특히 대형 언어 모델이 아직 이 수준에 도달하지 못했으며, 이러한 능력을 통합하려면 훈련 방식에 변화가 필요하다고 지적했다. 이로 인해 많은 선두 기술 회사들이 현재 기존 모델에 새로운 능력을 붙이며 AI 분야를 선도하려 노력하고 있다. “물리적 세계를 이해하기 위해선 별도의 영상 시스템을 훈련시킨 후에 이를 대형 언어 모델에 결합하고, 기억을 위해선 검색 증강 생성(RAG)을 사용하거나 연상 기억을 추가하거나 모델을 단순히 확장한다”고 그는 말했다. (RAG는 메타에서 개발된 외부 지식 소스를 통합하여 대형 언어 모델의 성능을 향상시키는 기술이다. ) 그럼에도 불구하고, 르꾸앙은 이러한 모든 노력들이 단지 ‘해킹’에 불과하다고 본다. 그는 반복해서 세계 기반 모델(world-based models)이라는 대안적 접근법을 이야기해 왔다.

이 모델들은 실제 세계 시나리오에 대해 훈련받으며, 단순한 패턴 인식을 넘어서 더 높은 인지 능력을 보여준다. 앤서니 아누치아타와의 대화에서도 이 개념에 대해 자세히 설명했다. 그는 “특정 시간 T에서의 세계 상태에 대한 아이디어로 시작해서, 어떤 행동을 상상하고, 그 행동에 따라 세계 상태가 어떻게 변화할지 예측하는 것”이라고 설명했다. 하지만 세계는 무수히 많은 예측 불가능한 가능성들에 의해 변화하기 때문에, 이러한 모델을 훈련하는 유일한 방법은 추상화를 통해서라고 그는 강조한다. 메타는 이미 2월에 공개된 V-JEPA라는 모델로 이 개념을 탐구 중이다. 이 모델은 영상의 누락되거나 가려진 부분을 예측하는 비생성 모델로 설명된다. “핵심 아이디어는 픽셀 단위로 바로 예측하는 것이 아니라, 영상의 추상적 표현에 대해 작동하는 시스템을 훈련시켜 그 추상적 표현 내에서 예측을 하게 하는 것”이라며, “이 표현은 예측 불가능한 세부 사항들을 걸러내는 역할을 할 수 있다”고 말했다. 이 접근법은 화학자들이 물질의 기본 구성요소에 대해 계층 구조를 만든 방법과 유사하다. 그는 “우리는 추상화를 만들어냈다. 입자가 그 위에 있고, 그 위에 원자가 있으며, 분자가 있고, 결국 재료가 된다”고 했다. “각 계층은 현재 작업에 따라 하위 계층의 매우 관련 없는 정보를 걸러낸다. ” 본질적으로, 이것이 의미하는 바는 우리가 계층 구조를 구성함으로써 물리적 세계를 이해한다는 것인데, 이것이 바로 지능의 근본이다.