Новое исследование выявило набор задач, с которыми люди справляются без особых усилий, а искусственный интеллект (ИИ) испытывает трудности — особенно чтение аналоговых часов и определение дня недели по заданной дате. Хотя ИИ умеет генерировать код, изображения, текст, похожий на человеческий, и даже сдавать экзамены в разной степени, он часто неправильно интерпретирует расположение стрелок на часах и не справляется с простыми арифметическими операциями с календарем. Об этом исследовании, представленном на Международной конференции по изучению представлений в 2025 году (ICLR) и опубликованном на пред-print сервере arXiv (еще не прошедшем рецензирование), говорится, что в способностях ИИ есть значительные пробелы в выполнении задач, которые люди осваивают уже в раннем возрасте. Ведущий автор — Рохит Сакшена из Эдинбургского университета — подчеркнул, что эти недостатки необходимо устранить для эффективного применения ИИ в срочных и реальных ситуациях, таких как планирование, автоматизация и вспомогательные технологии. Исследователи протестировали различные мультимодальные языковые модели (MLLM), включая Llama 3. 2-Vision от Meta, Claude-3. 5 Sonnet от Anthropic, Gemini 2. 0 от Google и GPT-4o от OpenAI, используя специально подготовленный набор данных с изображениями часов и календарей. Модели больше половины времени не справлялись с правильным определением времени на часах или дня недели по заданным датам — точность составила всего 38, 7% для часов и 26, 3% для задач, связанных с календарем. Сакшена объяснил, что плохое распознавание времени на часах у ИИ связано с недостатком пространственного мышления — задач, требующих обнаружения пересекающихся стрелок, измерения углов и интерпретации различных конструкций часов, например, с римскими цифрами или стилизованными циферблатами. Распознать изображение как часы для ИИ проще, чем точно прочитать время. Аналогично, несмотря на то что арифметика является фундаментальной для вычислений, крупные языковые модели не выполняют вычисления посредством алгоритмов — они предсказывают ответы на основе паттернов в обучающих данных.

Это приводит к непоследовательным и нелогичным рассуждениям, что объясняет высокие показатели ошибок при вычислениях, связанных с датами. Это исследование добавляет к постоянно растущему массиву доказательств того, что «понимание» ИИ принципиально отличается от человеческого мышления. ИИ хорошо справляется при наличии большого количества обучающих примеров, но испытывает трудности с абстрактным мышлением и обобщением, особенно в задачах, сочетающих восприятие и точную логику. Кроме того, ограниченность данных о редких явлениях, таких как високосные годы, мешает его эффективности, ведь ИИ не способен строить необходимые концептуальные связи. Результаты подчеркивают необходимость более богатых и целенаправленных датасетов, а также пересмотра возможностей ИИ по интеграции логического и пространственного мышления. Они также указывают на риск чрезмерной зависимости от результатов ИИ в сложных задачах. Сакшена подчеркнул важность строгих тестов, разработку резервных механизмов и часто необходимого человеческого контроля при использовании ИИ в ситуациях, требующих сочетания восприятия и точной логики.