Ny forskning har identificeret et sæt af opgaver, som mennesker håndterer uden besvær, men som kunstig intelligens (AI) har svært ved—specifikt at læse analoge ure og fastslå ugedagen for en given dato. Selvom AI kan generere kode, billeder, menneskelignende tekst og endda bestå prøver i varierende grad, fejlfortolker den ofte urets visere og fejler i grundlæggende kalenderaritmetik. Studiet, der blev præsenteret på den internationale konference for læringsrepræsentationer (ICLR) i 2025 og offentliggjort på preprint-serveren arXiv (endnu ikke peer-reviewed), fremhæver betydelige mangler i AI’s evne til at udføre opgaver, som mennesker mestrer tidligt i livet. Hovedforfatter Rohit Saxena fra University of Edinburgh understregede, at disse mangler skal adresseres, for at AI kan anvendes effektivt i tidsfølsomme og virkelige kontekster som planlægning, automation og assistiv teknologi. Forskerne testede forskellige multimodale store sprogmodeller (MLLM)—herunder Metas Llama 3. 2-Vision, Anthropic’s Claude-3. 5 Sonnet, Googles Gemini 2. 0 og OpenAI’s GPT-4o—ved hjælp af et speciallavet datasæt med billeder af ure og kalendere. Modellerne formåede ikke at identificere klokkeslæt korrekt eller bestemme ugedage for prøvedatoer over halvdelen af tiden, med nøjagtighedsgrader på blot 38, 7% for ure og 26, 3% for kalenderopgaver. Saxena forklarede, at AI’s dårlige evne til at læse ure skyldes mangel på rumlig ræsonnering—opgaver, der kræver påvisning af overlappende visere, vinkelmålinger og tolkning af forskellige urdesign, som romerske tal eller stiliserede urskiver. At genkende et billede som et ur er lettere for AI end at aflæse det præcist.

På samme måde, selvom aritmetik er grundlæggende for computing, gennemfører store sprogmodeller ikke beregninger via algoritmer; i stedet forudsiger de output baseret på træningsdata-mønstre. Dette fører til inkonsistent og ikke-regelbaseret ræsonnering, hvilket forklarer de høje fiasko rater ved dato-relateret aritmetik. Denne undersøgelse bidrager til den stigende bevidsthed om, at AI’s måde at “forstå” på adskiller sig fundamentalt fra menneskets kognition. AI klarer sig godt, når der findes mange træningseksempler, men har svært ved abstrakt ræsonnering og generalisering, især på opgaver, der blander perception med præcis logik. Endvidere hæmmes præstationen af begrænset træningsdata om sjældnere fænomener, såsom skudår, da AI fejler i at danne de nødvendige konceptuelle forbindelser. Resultaterne understreger behovet for mere målrettede og rigere datasæt samt en genovervejelse af AI’s evne til at integrere logisk og rummelig ræsonnering, og de påpeger risiciene ved at være overafhængig af AI’s output i komplekse opgaver. Saxena understregede behovet for grundige tests, fallback-mekanismer og ofte menneskeligt tilsyn, når AI tildeles opgaver, der kræver kombination af perception og præcis ræsonnering.