Nedavna studija Centra za digitalno novinarstvo pri Columbia Journalism Review otkriva značajne probleme sa tačnošću generativnih AI modela koji se koriste za pretragu vijesti. Testirajući osam alata za pretragu pokretanih AI-om, istraživači su otkrili da je više od 60% upita dalo netačne informacije o izvorima vijesti. Otprilike 25% Amerikanaca trenutno koristi ove AI modele umjesto tradicionalnih pretraživača, što pobuđuje zabrinutost u vezi sa njihovom pouzdanošću. Stopa grešaka varirala je među različitim alatima. Na primjer, Perplexity je napravio greške u 37% upita, dok je ChatGPT Search imao stopu greške od 67% (134 od 200 upita). Grok 3 je imao najvišu stopu greške od 94%. Da bi sproveli testove, istraživači su pružili direktne izvatke iz stvarnih novinskih članaka i tražili od AI alata da identifikuju odgovarajuće detalje poput naslova, izdavača, datuma i URL-ova, ukupno 1, 600 upita. Zabrinjavajući trend je bio to što umjesto da odbiju odgovoriti kada nisu sigurni, modeli su često nudeli odgovore koji zvuče plauzibilno, ali su netačni, što je obrazac dosljedan kod svih testiranih alata. Premium verzije ovih AI alata, poput Perplexity Pro ($20/mjesec) i premium usluge Grok 3 ($40/mjesec), ponekad su se ponašale lošije, jer su često davale netačne odgovore iako su pravilno obrađivale veći broj upita. Njihova sklonost da nude nesigurne odgovore doprinijela je višim ukupnim stopama grešaka. Studija je takođe pokrenula pitanja u vezi sa kontrolom izdavača nad njihovim sadržajem. Neki AI alati su ignorisali Robot Exclusion Protocols koje su namijenjene sprečavanju neautorizovanog pristupa određenom sadržaju.

Na primjer, besplatna verzija Perplexity-a identifikovala je izvatke iz članaka National Geographic-a koji su zaštićeni pretplatom, iako je pristup obavezno bio onemogućen. Štaviše, kada su AI alati citirali izvore, često su se povezivali sa sindiciranim sadržajem na sajtovima poput Yahoo News umjesto na originalne izdavače. Značajan problem je nastao sa fabričkim URL-ovima—preko polovine citata iz Google-ovog Geminija i Grok 3 dovelo je do neispravnih ili nepostojećih stranica, pri čemu je Grok 3 imao 154 od 200 citata koji su rezultirali stranicama sa greškama. Ova situacija stavlja izdavače u težak položaj: blokiranje AI crawler-a moglo bi eliminisati atribuciju, dok omogućavanje pristupa olakšava ponovno korištenje sadržaja bez koristi za originalne sajtove. Mark Howard, COO magazina Time, izrazio je zabrinutost u vezi sa transparentnošću i kontrolom, ali je takođe sugerisao potencijal za poboljšanje, navodeći da će se trenutni AI alati pozitivno razvijati. Howard je posebno kritikovao korisnike koji očekuju potpunu tačnost od besplatnih AI usluga, sugerirajući da je skepticizam neophodan. OpenAI i Microsoft su priznali nalaze studije, ali nisu direktno odgovorili na postavljena pitanja. OpenAI je naglasio svoju posvećenost podršci izdavačima, dok je Microsoft tvrdio da se pridržava Robot Exclusion Protocols. Ovaj izvještaj se oslanja na ranije nalaze iz novembra 2024. godine, koji su takođe istaknuli probleme sa tačnošću u radu ChatGPT-a sa sadržajem vijesti. Za više detalja, cijeli izvještaj dostupan je na veb sajtu Columbia Journalism Review.