Rannsókn á þróuðum útgáfum af þremur vinsælum AI spjallmennum sýnir að þær hafa tilhneigingu til að gefa rangar svör oftar en þær viðurkenna þegar þær vita ekki eitthvað. Rannsóknin, undir forystu José Hernández-Orallo frá Rannsóknarstofnun Valenciu fyrir gervigreind, greindi mistök stórra máltækni módel (LLM), og tók eftir að þótt nákvæmni batni með stærð og endurbót módelanna, þá hafi fjöldi rangra svara líka aukist. Í stað þess að velja að hafna erfiðum spurningum, bjóða þessi módel oft upp á svör, sem leiðir til aukningu í villandi svörum. Hernández-Orallo tekur eftir því að spjallmenni séu að verða færari í að herma eftir þekkingu án raunverulegrar skilnings, fyrirbæri sem lýst er sem "ultracrepidarianisme. " Þetta getur leitt til þess að notendur ofmeta geta spjallmenna, sem skapar áhættu. Liðið skoðaði módel eins og GPT frá OpenAI, LLaMA frá Meta og opna auðið BLOOM, og mettu nákvæmni þeirra yfir ýmsar spurningategundir.

Þeir fundu að jafnvel með bættum módelum voru yfir 60% af svörum þeirra röng eða óhæf. Að auki flokkuðu mannlegir sjálfboðaliðar oft röng svör sem rétt, sem sýndi skort á hæfni til að fylgjast með módelunum á áhrifaríkan hátt. Til að bæta notendaskilning leggur Hernández-Orallo til að forritarar ættu að bæta frammistöðu á einföldum spurningum og þjálfa spjallmenni til að hætta við að svara erfiðum. Þetta myndi hjálpa notendum að bera kennsl á hvar AI er áreiðanlegt og hvar það er það ekki. Þrátt fyrir að einhver spjallmenni geti viðurkennt skort á þekkingu, helst þrýstingurinn á að módelin glími við erfiðar spurningar, sérstaklega fyrir þau sem eru markaðssett sem almenn notkungs.