Жаңа зерттеу адамда оңай орындайтын, бірақ жасанды интеллектке (ЖИ) қиындық туғызатын тапсырмалар жиынтығын анықтады — әсіресе аналог сағаттарды оқып, берілген күнге сәйкес апта күнін анықтау. Ғалымдар код, сурет, адамге ұқсас мәтін жасай алатын ЖИ әртүрлі дәрежеде емтихандардан өтіп, әдетте сағаттың сағат тілі позицияларын дұрыс түсінбедіні және негізгі күнтізбе арифметикасын орындауда жиі қателесетіні белгілі болды. Бұл зерттеу 2025 жылы ұйымдастырылған Халықаралық оқыту ұсынулары конференциясы (ICLR) кезінде ұсынылды және preprint сервері arXiv-де жарияланды (әлі сараптамадан өтпеген). Зерттеу адамның өмірінің ерте кезеңдерінен үйренетін тапсырмаларды ЖИ орындау қабілетінің маңызды кемшіліктерін көрсетті. Эдинбург университетінің жетекші авторы Рохит Сахена бұл кемшіліктерді жою қажеттігін атап өтіп, дұрыс уақытта және нақты әлем жағдайында, мысалы, кестелеу, автоматтандыру және көмектесетін технологияларда ЖИ тиімді қолданылуы үшін бұл мәселелерді шешу маңызды деп атап өтті. Зерттеушілер бірнеше көпмодальды үлкен тілді модельдерді (MLLMs) сынап көрді — оның ішінде Meta компаниясының Llama 3. 2-Vision, Anthropic компаниясының Claude-3. 5 Sonnet, Google-дің Gemini 2. 0 және OpenAI-дің GPT-4o — арнайы жасаған датасет арқылы сағат және күнтізбе суреттерін пайдаланып. Мұндай моделдер тест кезінде сағат уақытын дұрыс анықтай немесе апта күнін дәл анықтай алмаған, олардың келісім деңгейі тек 38, 7% (сағаттарда) және 26, 3% (күнтізбе тапсырмаларында) ғана болды. Сахена түсіндіргендей, ЖИ-дің сағаттарды нашар оқуы оның кеңістік қатынасын түсінбеуінен туындайды — бұл тапсырмалар сағаттың барлық сағат тілі көрсеткіштерін анықтау, бұрыштарды есептеу және түрлі сағат безендірулерін, мысалы, рим сантар немесе стильді циферблаттар арқылы түсінуді талап етеді. Сағат суретін дұрыс тану — ЖИ үшін қиын емес, бірақ оны нақты оқу қиынырақ.

Сонымен қатар, арифметика компьютерлер үшін негізгі дағды болса да, үлкен тілді модельдер есептеулерді алгоритмдер арқылы емес, тренинг деректерінде байқалған үлгілер негізінде болжайды. Бұл олардың біркелкі емес, ережеге негізделмеген ойлауына әкеледі, оның нәтижесінде даталармен байланысты арифметикалық операцияларда қателіктер жиі кездеседі. Бұл зерттеу ЖИ-дің «түсіну» тәсілі адамның когнитивті функцияларынан түбегейлі өзгеше екенінің дәлелдерін күшейтеді. ЖИ көп тренинг мысалдары болған кезде жақсы жұмыс істесе де, абстрактілі ойлау мен жалпылауда, әсіресе қабылдау мен нақты логиканы біріктіретін тапсырмаларда қиналады. Сонымен қатар, сирек кездесетін құбылыстар — мысалы, секіріс жылдары — туралы деректердің жетіспеушілігі оның тиімділігін төмендетеді, себебі ЖИ қажетті концептуалды байланыстарды жасай алмайды. Зерттеулер көрсеткендей, байрақты әрі нақты деректер жиынтығын жасау және ЖИ-дің логика мен кеңістік қатынасын біріктіру мүмкіндігін қайта бағалау қажет. Бұл жасанды интеллектінің қабілетін асыра бағалау қаупін көрсетеді және күрделі тапсырмаларда ЖИ нәтижесіне сенуде сақ болу керек. Сахена мұндай тапсырмаларда «түсінуді» сынау үшін қатаң тестілеу, резервтік механизмдер және жиі адам қадағалауын қамтамасыз етудің маңыздылығын атап өтті.