Tutkimus kolmen suositun tekoäly-chatbotin edistyneistä versioista paljastaa, että ne antavat väärin vastauksia useammin kuin myöntävät, kun eivät tiedä jotain. Tutkimusta johti José Hernández-Orallo Valencian tekoälyn tutkimuslaitokselta, joka analysoi suurten kielimallien (LLM) virheitä. Hän havaitsi, että vaikka tarkkuus paranee mallin koon ja hienosäädön myötä, väärien vastausten määrä on myös noussut. Sen sijaan, että nämä mallit kieltäytyisivät vaikeista kysymyksistä, ne usein vastaavat, mikä johtaa harhaanjohtavien vastausten lisääntymiseen. Hernández-Orallo huomauttaa, että chatbotit ovat yhä taitavampia jäljittelemään tietoa ilman todellista ymmärrystä, ilmiö, jota kutsutaan ’ultracrepidarianismiksi’. Tämä voi johtaa käyttäjien yliarvioimaan chatbotien kykyjä, mikä aiheuttaa riskejä.

Tiimi tutki malleja kuten OpenAI:n GPT, Metan LLaMA ja avoimen lähdekoodin BLOOM, arvioiden niiden tarkkuutta eri kysymystyypeissä. He havaitsivat, että vaikka parannetuissa malleissa, yli 60% niiden vastauksista oli virheellisiä tai puutteellisia. Lisäksi ihmisten vapaaehtoiset usein luokittelivat virheelliset vastaukset oikeiksi, mikä osoittaa, että heidän kykynsä valvoa malleja on puutteellinen. Parantaakseen käyttäjien ymmärrystä Hernández-Orallo ehdottaa, että kehittäjien tulisi parantaa suorituskykyä yksinkertaisissa kysymyksissä ja kouluttaa chatbotit pidättäytymään vastaamasta vaikeisiin kysymyksiin. Tämä auttaisi käyttäjiä tunnistamaan, missä tekoäly on luotettava ja missä ei. Vaikka jotkut chatbotit voivat myöntää tietämättömyytensä, paine mallien vastaamaan vaikeisiin kysymyksiin pysyy merkittävänä, erityisesti niille, joita mainostetaan yleiskäyttöisinä.