Нове дослідження визначило набір завдань, які людям легко дається, але штучному інтелекту (ШІ) викликають труднощі — зокрема, читання аналогові годинники та визначення дня тижня за заданою датою. Хоча ШІ може генерувати код, зображення, текст, схожий на людський, і навіть успішно складати іспити в різному ступені, він часто неправильно інтерпретує положення стрілок годинника та не справляється з базовою арифметикою календаря. Дослідження, представлене на Міжнародній конференції з представлення навчання (ICLR) 2025 року та опубліковане на препринт-сервісі arXiv (ще не рецензоване), підкреслює значні прогалини у можливостях ШІ виконувати завдання, з якими добре справляються люди ще у ранньому віці. Головний автор Рохіт Саксена з Единбурзького університету наголосив, що ці недоліки потрібно усунути, щоб ефективно застосовувати ШІ у сферах, чутливих до часу й реальних умов, таких як планування, автоматизація та допоміжні технології. Дослідники протестували різні мультимодальні великі мовні моделі (MLLM), зокрема Llama 3. 2-Vision від Meta, Claude-3. 5 Sonnet від Anthropic, Gemini 2. 0 від Google та GPT-4o від OpenAI, використовуючи спеціально створений набір даних із зображеннями годинників і календарів. Моделі неправильно визначали час на годинниках або день тижня за вибірковими датами у більш ніж половині випадків: точність становила лише 38, 7% для годинників і 26, 3% для завдань з календарями. Саксена пояснив, що погане зчитування ШІ з годинників виникає через відсутність просторового мислення — задач, які вимагають розпізнавання накладених стрілок, вимірювання кутів та інтерпретації різних дизайнів годинників, наприклад, із римськими цифрами або стилізованими циферблатами. Визначити, що зображення є годинником, для ШІ легше, ніж точно його прочитати.

Аналогічно, хоча арифметика є фундаментальною для обчислень, великі мовні моделі не виконують обчислень за допомогою алгоритмів, а передбачають вихідні дані на основі шаблонів у тренувальних даних. Це спричиняє нерегулярне та непослідовне логічне мислення, що пояснює високий рівень помилок у обчисленнях, пов’язаних із датами. Це дослідження додає до зростаючих доказів того, що спосіб “розуміння” ШІ суттєво відрізняється від людської когніції. ШІ досягає гарних результатів, коли має багато прикладів для навчання, але має труднощі з абстрактним мисленням і узагальненням, особливо у завданнях, що поєднують сприйняття з точним логічним висновком. Крім того, обмежені дані щодо рідкісних явищ, таких як високосні роки, ускладнюють його роботу, оскільки ШІ не здатен зробити необхідні концептуальні зв’язки. Отже, результати підкреслюють необхідність створення більш багатих і цілеспрямованих датасетів і перегляду здатності ШІ інтегрувати логічне й просторове мислення, а також обережність у надмірній довірі результатам ШІ у складних завданнях. Саксена наголосив, що потрібно проводити ретельне тестування, впроваджувати запасні механізми та часто залучати людину для контролю, коли ШІ використовується для поєднання сприйняття та точного логічного розрахунку.