새로운 연구에 따르면, 인간은 아무 힘들이지 않고 수행하는 특정 작업들이 있는데, 인공지능(AI)은 이에 어려움을 겪고 있다—구체적으로는 아날로그 시계를 읽거나 특정 날짜의 요일을 판단하는 것이다. AI는 코드, 이미지, 인간과 유사한 텍스트를 생성하거나 시험에 합격하는 등 다양한 능력을 보여주지만, 시계 바늘의 위치를 오해하거나 기본 달력 계산을 실패하는 일이 자주 발생한다. 이 연구는 2025년 국제 학습 표현 회의(ICLR)에서 발표되었으며, 사전 인쇄 서버인 arXiv에 게재되었으나 아직 동료 검토를 받지 않았다. 연구는 인간이 어릴 때 자연스럽게 습득하는 임무들에 비해 AI의 수행 능력에 큰 차이가 있음을 강조한다. 에딘버러 대학의 로힛 쌕스나(저자 대표)는 이러한 부족한 점들을 해결하는 것이 AI를 일정 관리, 자동화, 보조 기술 등 시간에 민감한 실제 상황에 효과적으로 활용하기 위해 반드시 필요하다고 말했다. 연구팀은 Meta의 라마 3. 2 비전(Llama 3. 2-Vision), Anthropic의 클로드 3. 5 소네트(Claude-3. 5 Sonnet), 구글의 제미니 2. 0(Gemini 2. 0), OpenAI의 GPT-4o 등 다양한 다중모달 대형 언어 모델(MLLMs)을, 시계와 달력 이미지로 구성된 맞춤 데이터를 사용하여 테스트했다. 그 결과, 모델들은 샘플 시계 시간이나 날짜의 요일을 정확히 판단하지 못했으며, 시계 인식 정확률은 38. 7%, 달력 작업은 26. 3%에 그쳤다. 쌕스나는 AI의 시계 읽기 성능이 낮은 이유로 공간적 추론 능력의 부족을 꼽았다—이 작업은 겹치는 시침, 각도 측정, 로마숫자 또는 양식화된 다이얼 등 다양한 시계 설계를 해석하는 능력을 필요로 한다. AI가 이미지를 시계로 인식하는 것은 쉽지만, 정확히 읽는 것은 어렵다.

이와 유사하게, 계산 자체는 기본적이지만, 대형 언어 모델은 알고리즘 방식으로 계산하는 것이 아니라 학습 데이터 패턴을 기반으로 결과를 예측하기 때문에, 일관적이지 않고 규칙이 없는 추론을 하게 된다. 이로 인해 날짜 관련 산술 계산에서는 높은 실패율이 발생한다. 이 연구는 AI의 “이해” 방식이 인간의 인지와 근본적으로 다르다는 점을 보여주는 증거를 계속해서 더하고 있다. AI는 충분한 학습 예시가 존재할 때 뛰어나지만, 추상적 추론과 일반화 면에서는 어려움을 겪으며, 특히 인식과 논리적 연산이 결합된 작업에서는 더욱 그렇다. 또한, 윤년과 같은 희귀 현상에 대한 제한된 학습 데이터는 성능을 저해하며, 개념적 연결이 부족한 것도 문제로 작용한다. 이 결과들은 더 풍부하고 타겟팅된 데이터셋의 필요성, 논리적 및 공간적 추론 능력 통합에 대한 재평가의 중요성을 강조한다. 아울러, 복잡한 작업에서 AI의 출력에 지나치게 의존하는 위험성을 경고하며, 쌕스나는 AI가 인식과 정밀한 추론을 결합하는 업무를 수행할 때 엄격한 테스트, 예비 대책, 그리고 인간의 감독이 반드시 필요하다고 강조했다.