Yli 500 miljoonaa ihmistä luottaa Geminiin ja ChatGPT:hen joka kuukausi monenlaisissa aiheissa, mutta varovaisuutta suositellaan—jos tekoäly ehdottaa pastan keittämistä bensiinissä, siihen ei kannata luottaa ehkäisyn tai algebran neuvoissa. Maailman talousfoorumissa OpenAI:n toimitusjohtaja Sam Altman painotti, että vaikka tekoäly ei voi lukea ajatuksiamme, se voi ilmaista perustelunsa. Hän vaatii, että myös tekoälyjärjestelmien tulisi selittää logiikkansa, jotta käyttäjät voivat arvioida niiden antamien tulosten pätevyyttä. Perustelu on ratkaiseva tiedon kannalta; ilman sitä uskottavuus puuttuu. Useimmat ihmiset julistavat tietäväisyytensä vain, kun on olemassa vahva näyttöpohja, argumentit tai luotettavat lähteet. LLM:t kuten ChatGPT on suunniteltu luotettaviksi; kuitenkin ne usein epäonnistuvat perustelujen antamisessa, koska ne on suunniteltu ennustamaan kielen malleja sen sijaan, että ne kävisivät todellista päättelyä. Niiden tulokset voivat vaikuttaa uskottavilta, mutta ne eivät takaa totuuden perustelua. Vaikka suuri osa niiden tuottamasta tiedosta saattaa olla tarkkaa, ne voivat johtaa käyttäjiä harhaan esittämällä Gettier-tapauksia, joissa uskomukset voivat olla totta mutta vailla perusteluja. Esimerkki buddhalaiselta filosofilta Dharmottaralta havainnollistaa tätä ongelmaa: vedensä etsijät saattavat kompastua siihen huolimatta siitä, että he arvioivat väärin sen sijainnin, jolloin he eivät näytä aitoa tietoa. Samoin LLM:ien käyttäjät voivat hyväksyä tuloksia tosiasioina ymmärtämättä niiden perustelua, muistuttaen matkustajia, jotka virheellisesti uskovat löytäneensä vettä, kun he eivät ole. Altmanin optimismi tekoälyn perusteluominaisuuksista saattaa johtaa väärinkäsityksiin.

Jos käyttäjät pyytävät perusteluja, LLM:t luovat uskottavalta kuulostavia mutta lopulta perusteettomia perusteluja—eräänlaista harhaanjohtavaa tulosta. Tämä voi johtaa epäluottamukseen informoituneiden käyttäjien keskuudessa ja harhauttaa vähemmän tietoisia. Tällä hetkellä tekoälyjärjestelmät voivat tuottaa virheitä tai "hallusinaatioita", mikä korostaa niiden rajoituksia. Käyttäjät, jotka ymmärtävät että LLM:t esittävät Gettier-tapauksia, käyttävät niitä todennäköisesti asianmukaisesti, soveltaen omaa harkintaansa. Kuitenkin monet ihmiset hakevat tekoälyltä apua alueilla, joissa heillä ei ole asiantuntemusta, kuten algebra tai terveysneuvot. Siksi on oleellista määrittää, milloin LLM:ien tuloksiin voidaan luottaa. Luottamus tekoälyyn täytyy perustua kykyyn varmistaa jokaisen tuloksen perustelut, jota LLM:illä ei tällä hetkellä ole. Vaikka monet ihmiset saattavat vaistomaisesti tietää, että oliiviöljy on bensiiniä parempi ruoanlaittoon, heillä saattaa olla muita kyseenalaisia ideoita, jotka he ovat hyväksyneet tarkastelematta perusteluja.