AI-søgemaskiner kan ofte minde om den overbeviste ven, der taler autoritativt om mange emner uden reelt at forstå dem. En nylig undersøgelse fra Columbia Journalism Review (CJR) fremhæver, at AI-modeller fra virksomheder som OpenAI og xAI ofte giver unøjagtige oplysninger, når de bliver spurgt om specifikke nyhedsbegivenheder, med alvorlige fejl i 60% af de testede forespørgsler. For eksempel returnerede Perplexity forkerte oplysninger 37% af tiden, mens xAIs Grok fabrikerede detaljer 97% af tiden og nogle gange endda opfandt falske URL'er. Desuden er nogle AI-søgemaskiner, såsom Perplexity, blevet kendt for at omgå betalingsvægge på sider, på trods af at udgivere bruger instruktioner om ikke at crawle, idet de hævder, at deres praksis falder under fair use. Denne kontrovers påvirker udgiveres kontrol over, hvordan deres indhold præsenteres, hvilket kan skade deres mærker, hvis brugerne får forkerte oplysninger, som de tror stammer fra pålidelige kilder. Bekymringer om brugerens godtroenhed bliver også rejst, idet Time Magazines COO, Mark Howard, antyder, at forbrugere bør være skeptiske over for nøjagtigheden af gratis AI-værktøjer.

Menneskers tendens til at søge hurtige svar uden at verificere dem er tydelig, da mange foretrækker øjeblikkelige svar fra AI-modeller i stedet for at klikke sig videre til hjemmesider. Selv før generativ AI fik gennemslag, var over halvdelen af Google-søgningerne "zero-click", hvilket understreger ønsket om tilgængelig, ligetil information. Resultaterne fra CJR er ikke overraskende, givet de iboende begrænsninger ved sprogmodeller, der fungerer som avancerede autocompletesystemer, og ofte producerer indhold, der virker logisk uden fuldt ud at forstå det. På trods af disse problemer udtrykker Howard optimisme for fremtidige forbedringer i chatbot-teknologi, selvom han anerkender risiciene ved at sprede unøjagtige oplysninger.