Isang bagong pag-aaral mula sa Tow Center for Digital Journalism ng Columbia Journalism Review ang nagsreve ng mga makabuluhang problema sa katumpakan ng mga generative AI model na ginagamit para sa mga paghahanap ng balita. Sa pagsusuri ng walong AI-driven search tool, natuklasan ng mga mananaliksik na higit sa 60% ng mga query ay nagbigay ng maling impormasyon tungkol sa mga pinagkukunan ng balita. Tinatayang 25% ng mga Amerikano ang kasalukuyang gumagamit ng mga modelong ito ng AI sa halip na mga tradisyonal na search engine, na nagdudulot ng mga alalahanin tungkol sa kanilang pagiging maaasahan. Nag-iba-iba ang mga rate ng pagkakamali sa iba't ibang tool. Halimbawa, ang Perplexity ay nagkamali sa 37% ng mga query, habang ang ChatGPT Search ay may 67% error rate (134 mula sa 200 na query). Ang Grok 3 ay nagkaroon ng pinakamataas na error rate sa 94%. Upang isagawa ang mga pagsusulit, nagbigay ang mga mananaliksik ng mga direktang sipi mula sa mga totoong artikulo ng balita at humiling sa mga AI tool na tukuyin ang mga kaukulang detalye tulad ng mga pamagat, publisher, mga petsa, at mga URL, na umabot sa kabuuang 1, 600 na query. Isang nakababahalang trend na napansin ay ang mga modelong ito na madalas ay nag-aalok ng mga tumutugmang ngunit maling sagot sa halip na hindi sumagot kapag hindi siguradong. Isang pattern ito na umuulit sa lahat ng tool na sinubukan. Ang mga premium na bersyon ng mga AI tool na ito, tulad ng Perplexity Pro ($20/buwan) at premium service ng Grok 3 ($40/buwan), ay minsang nagpakita ng mas masahol na pagganap, dahil madalas silang nagbibigay ng maling sagot sa kabila ng tamang pag-address sa mas mataas na bilang ng mga prompt. Ang kanilang pagkahilig na mag-alok ng mga hindi tiyak na sagot ay nag-ambag sa mas mataas na kabuuang rate ng pagkakamali. Itinataas din ng pag-aaral ang mga isyu tungkol sa kontrol ng mga publisher sa kanilang nilalaman.

Ang ilang AI tool ay hindi sumunod sa Robot Exclusion Protocols na nilalayong pigilan ang hindi awtorisadong pag-access sa ilang nilalaman. Halimbawa, ang libreng bersyon ng Perplexity ay tumukoy sa mga sipi mula sa mga paywalled na artikulo ng National Geographic, kahit na malinaw na ipinagbabawal ang pag-access. Dagdag pa rito, kapag ang mga AI tool ay nagbanggit ng mga pinagkukunan, madalas silang nag-link sa syndicated content sa mga site tulad ng Yahoo News sa halip na sa mga orihinal na publisher. Isang malaking problema ang lumitaw sa paglikha ng URL—mahigit sa kalahati ng mga sipi mula sa Google’s Gemini at Grok 3 ay nagdulot ng mga sirang o hindi umiiral na mga pahina, kung saan ang Grok 3 ay nagkaroon ng 154 mula sa 200 na sipi na nagresulta sa mga error page. Ang sitwasyong ito ay naglalagay sa mga publisher sa isang mahirap na posisyon: ang pagharang sa mga AI crawler ay maaaring magtanggal ng pagkilala, habang ang pagpapahintulot ng pag-access ay nagpapadali sa muling paggamit ng nilalaman nang hindi nakikinabang sa mga orihinal na site. Si Mark Howard, COO ng Time magazine, ay naghayag ng mga alalahanin tungkol sa transparency at kontrol, ngunit nagmungkahi rin ng potensyal para sa pagpapabuti, na nagsasabing ang kasalukuyang mga tool ng AI ay mag-e-evolve nang positibo. Mariin na pinuna ni Howard ang mga gumagamit na umaasa sa kumpletong katumpakan mula sa mga libreng serbisyo ng AI, na nagsasabing kinakailangan ang pagtatanong. Kinilala ng OpenAI at Microsoft ang mga natuklasan ng pag-aaral ngunit hindi tuwirang tumugon sa mga isyung itinataas. Binigyang-diin ng OpenAI ang kanilang pangako sa pagsuporta sa mga publisher, habang inangkin ng Microsoft ang pagsunod sa Robot Exclusion Protocols. Ang ulat na ito ay nagpapalawak sa mga naunang natuklasan mula Nobyembre 2024, na katulad na nag-highlight ng mga isyu sa katumpakan sa paghawak ng ChatGPT ng nilalaman ng balita. Para sa karagdagang detalye, ang buong ulat ay makikita sa website ng Columbia Journalism Review.