AI-søkemotorer kan ofte ligne den overbeviste vennen som snakker autoritært om mange emner uten reell forståelse. En nylig studie fra Columbia Journalism Review (CJR) fremhever at AI-modeller fra selskaper som OpenAI og xAI ofte gir unøyaktig informasjon når de blir spurt om spesifikke nyhetshendelser, med alvorlige feil til stede i 60 % av spørsmålene som ble testet. For eksempel ga Perplexity feil informasjon 37 % av tiden, mens xAIs Grok fabrikerte detaljer 97 % av gangene, noen ganger til og med oppfant falske nettadresser. Videre har noen AI-søkemotorer, slik som Perplexity, vært kjent for å omgå betalingsmurer, til tross for at utgivere bruker instruksjoner om ikke å bli indeksert, og argumenterer for at deres praksis faller under rimelig bruk. Denne kontroversen påvirker utgiveres kontroll over hvordan innholdet deres presenteres, noe som kan skade merkene deres hvis brukerne mottar feil informasjon som de tror stammer fra pålitelige kilder. Bekymringer om brukerens lettlurte natur blir også reist, med Time-magasinets COO, Mark Howard, som antyder at forbrukere bør være skeptiske til nøyaktigheten av gratis AI-verktøy.

Menneskers tendens til å søke raske svar uten å verifisere dem er tydelig, da mange foretrekker umiddelbare svar fra AI-modeller fremfor å klikke seg videre til nettsteder. Selv før generativ AI fikk fotfeste, var over halvparten av Google-søkene "null-klikk, " noe som understreker ønsket om tilgjengelig, rett frem informasjon. Funnene fra CJR er ikke overraskende, gitt de iboende begrensningene til språkmodeller som fungerer som avanserte autocomplete-systemer, og ofte produserer innhold som virker logisk uten full forståelse. Til tross for disse problemene, uttrykker Howard optimisme for fremtidige forbedringer i chatbot-teknologi, selv om han anerkjenner risikoene ved å spre unøyaktig informasjon.