AI-sökmotorer kan ofta likna den övertygande vännen som talar auktoritativt om många ämnen utan verklig förståelse. En nyligen genomförd studie från Columbia Journalism Review (CJR) visar att AI-modeller från företag som OpenAI och xAI ofta ger felaktig information när de tillfrågas om specifika nyhetshändelser, med allvarliga fel i 60% av de testade frågorna. Till exempel gav Perplexity felaktig information 37% av tiden, medan xAI:s Grok uppdiktade detaljer 97% av gångerna, ibland till och med uppfann falska webbadresser. Dessutom har vissa AI-sökmotorer, som Perplexity, blivit kända för att kringgå betalfunktioner på webbplatser trots att utgivare använder instruktioner för att inte crawla deras sidor, och hävdar att deras metoder faller under rimligt bruk. Denna kontrovers påverkar utgivarnas kontroll över hur deras innehåll presenteras, vilket kan skada deras varumärken om användare får felaktig information som de tror kommer från pålitliga källor. Det finns också oro över användarnas godtrogenhet, där Time Magazines COO, Mark Howard, föreslår att konsumenter bör vara skeptiska till noggrannheten hos gratis AI-verktyg.

Människors tendens att söka snabba svar utan att verifiera dem är uppenbar, eftersom många föredrar omedelbara svar från AI-modeller snarare än att klicka sig vidare till webbplatser. Redan innan generativ AI fick fäste var över hälften av Googles sökningar "zero-click", vilket betonar behovet av tillgänglig och enkel information. Resultaten från CJR är inte förvånande, med tanke på de inneboende begränsningarna hos språkmodeller som fungerar som avancerade autokompletteringssystem, ofta producerande innehåll som verkar logiskt utan att riktigt förstå det. Trots dessa problem uttrycker Howard optimism för framtida förbättringar inom chatbot-teknologi, även om han erkänner riskerna med att sprida felaktig information.