A Columbia Journalism Review Tow Center for Digital Journalism legfrissebb tanulmánya jelentős pontossági problémákat fedett fel a hírek keresésére használt generatív AI modellek esetében. Nyolc AI-vezérelt keresőeszközt tesztelve a kutatók megállapították, hogy a lekérdezések több mint 60%-a hibás információt adott a hírszolgáltatókkal kapcsolatban. Jelenleg körülbelül 25% amerikai használja ezeket az AI modelleket a hagyományos keresőmotorok helyett, ami aggodalmakat vet fel a megbízhatóságukkal kapcsolatban. A hibaarányok különböző eszközök között változott. Például a Perplexity a lekérdezések 37%-ában hibázott, míg a ChatGPT Keresésnél 67%-os hibaarányt mértek (200 kérdésből 134 volt hibás). A Grok 3-nak volt a legmagasabb aránya, 94%. A tesztek elvégzéséhez a kutatók valós hírcikkekből közvetlen részleteket adtak meg, és arra kérték az AI eszközöket, hogy azonosítsák a megfelelő részleteket, mint például a címek, a kiadók, a dátumok és az URL-ek, összesen 1, 600 lekérdezést végeztek. Egy aggasztó tendencia volt megfigyelhető, hogy a modellek gyakran olyan válaszokat adtak, amelyek plauzibilisnek tűntek, de hibásak voltak, amikor nem voltak biztosak a válaszban, ez a minta szinte minden tesztelt eszköz esetében megfigyelhető volt. Ezeknek az AI eszközöknek a prémium verziói, mint a Perplexity Pro (20 dollár/hónap) és a Grok 3 prémium szolgáltatása (40 dollár/hónap), néha rosszabbul teljesítettek, mivel gyakran hibás válaszokat adtak, annak ellenére, hogy magasabb számú kérdést válaszoltak meg helyesen. A bizonytalan válaszok adásának hajlama hozzájárult a magasabb összesített hibaarányokhoz. A tanulmány említette a kiadók tartalom feletti kontrolljával kapcsolatos problémákat is.

Néhány AI eszköz figyelmen kívül hagyta a Robot Exclusion Protocol-ok szabályait, amelyek azt célozzák, hogy megakadályozzák a jogosulatlan hozzáférést bizonyos tartalmakhoz. Például a Perplexity ingyenes verziója az előfizetéses National Geographic cikkek részleteit is azonosította, annak ellenére, hogy a hozzáférés kifejezetten tiltotta. Továbbá, amikor az AI eszközök forrást idéztek, gyakran az olyan szindikált tartalomra hivatkoztak, mint a Yahoo News, ahelyett, hogy az eredeti kiadókra mutattak volna. Jelentős probléma merült fel az URL hamisítással kapcsolatban – a Google Gemini és a Grok 3 hivatkozásainak több mint fele hibás vagy nem létező oldalakra vezetett, a Grok 3 esetében 200 hivatkozásból 154 hibás oldalakra eredményezett. Ez a helyzet nehéz helyzetbe hozza a kiadókat: az AI keresők blokkolása megszüntetheti az attribúciót, míg a hozzáférés megengedése a tartalom újrafelhasználását segíti elő anélkül, hogy az eredeti oldalak hasznot húznának belőle. Mark Howard, a Time magazin COO-ja aggodalmát fejezte ki a transzparenciával és a kontrollal kapcsolatban, de azt is jelezte, hogy van potens lehetőség a fejlődésre, kijelentve, hogy a jelenlegi AI eszközök pozitívan fognak fejlődni. Howard éles kritikát fogalmazott meg az olyan felhasználók ellen, akik teljes pontosságot várnak el az ingyenes AI szolgáltatásoktól, javasolva, hogy a szkepticizmus szükséges. Az OpenAI és a Microsoft elismerték a tanulmány megállapításait, de nem válaszoltak közvetlenül a felvetett problémákra. Az OpenAI hangsúlyozta elkötelezettségét a kiadók támogatása iránt, míg a Microsoft a Robot Exclusion Protocol-oknak való megfelelést állította. Ez a riport épít a 2024 novemberében készült korábbi megállapításokra, amelyek hasonlóan kiemelték a ChatGPT hírszolgáltatásainak pontossági problémáit. További részletekért a teljes riport elérhető a Columbia Journalism Review weboldalán.