Ný rannsókn hefur greint frá safni verkefna sem menn ná að leysa án mikillar fyrirhafnar en gervigreind (AI) á í erfiðleikum með—sérstaklega að lesa stiklur og ákvarða dag vikunnar fyrir ákveðinn dagsetningu. Þó að AI geti framleitt kóða, myndir, mannlegt texta og jafnvel unnið próf á mismunandi stigum, villa hún oft heiminn um staðsetningu klukkuhjóla og tekst ekki á við einfaldar dagbókarreikningar. Rannsóknin, sem var kynnt á alþjóðlegri ráðstefnu um námsskýringar (ICLR) árið 2025 og birt á fyrirprófunarvefnum arXiv (ekki jafnóðum fengin til yfirlestrar), undirstrikar stórt bil í getu AI til að leysa verkefni sem menn kunna snemma í lífinu. Aðalhöfundur, Rohit Saxena, frá Háskólanum í Edinborg, lagði áherslu á að þessi göllum verði að menda áður en hægt er að nýta AI í kjölfar tímafrekum og raunverulegum samhengi eins og dagatal, sjálfvirkni og hjálpartækni. Rannsakendur prófuðu ýmsar margmiðlunarmyndaðar stórtungutölvur (MLLMs)—þar á meðal Meta’s Llama 3. 2-Vision, Anthropic’s Claude-3. 5 Sonnet, Google’s Gemini 2. 0 og OpenAI’s GPT-4o—með sérsniðnu safni af klukku- og dagatalssögum. Tölvurnar misstu oft af réttum tíma á klukkunni eða dagsetningar, með nákvæmnisstigum aðeins 38, 7% fyrir klukkuverkefni og 26, 3% fyrir dagatalsverkefni. Saxena útskýrði að lélegur lestur klukku stafi af skorti á rýmisrökum (spatial reasoning)—verkefnum sem fela í sér að greina yfirlappandi hendur, hornamælingar og túlka mismunandi útlit klukku, eins og Rómverskar tölur eða stílesskífur. Að þekkja mynd sem klukku er auðveldara fyrir AI en að lesa hana rétt.

Því aukar reikningi, sem er grunnur af reikniformúlum tölvu, þrátt fyrir að stórtungutölvur hafi ekki eigin reiknireglur heldur spá þær útkömum út frá mynstur í þjálfunargögnum. Þetta leiðir til ósamræmis og óaðfinnanlegrar hugsunar, sem skýrir háa mistökahlutfall í reikningum tengdum dagsetningum. Þessi rannsókn bætir við vaxandi sönnun um að "skilningur" AI er grundvallar munur á því sem menn gera og því sem tölvur geta. AI skorar vel þegar mikið af þjálfunargögnum er til staðar en glímir við óhlutbundna hugsun og almennan skilning, sérstaklega í verkefnum sem fela í sér samruna þekkingar og nákvæmrar rökhugsunar. Takmarkað gögn um sjaldgæf fyrirbæri eins og hléársýningar herma því um litla nákvæmni og færri fræðslu um þessi málefni. Niðurstöðurnar undirstrika nauðsyn þess að safna ríkari og markvissari gagnasöfnum og endurskoða getu AI til að samþætta rökhugsun og rýmisgreiningu, þar sem aukin áhersla á hættuna á ofalárás á afurðir AI í flóknum verkefnum. Saxena lagði áherslu á að nauðsynlegt sé að prófa AI í nákvæmari prófunum, hafa bakvörður og oft mannlegt eftirlit þegar AI er sett í hlutverk sem krefst bæði skynjunar og nákvæmrar röksemdar.