En nylig undersøgelse fra Columbia Journalism Reviews Tow Center for Digital Journalism afslører betydelige nøjagtighedsproblemer med generative AI-modeller, der anvendes til nyhedssøgninger. I testen af otte AI-drevne søgeværktøjer fandt forskerne, at over 60% af forespørgslerne gav forkerte oplysninger om nyhedskilder. Cirka 25% af amerikanerne bruger i øjeblikket disse AI-modeller i stedet for traditionelle søgemaskiner, hvilket rejser bekymringer om deres pålidelighed. Fejlprocenten varierede mellem de forskellige værktøjer. For eksempel lavede Perplexity fejl i 37% af forespørgslerne, mens ChatGPT Search havde en fejlrate på 67% (134 ud af 200 forespørgsler). Grok 3 havde den højeste fejlrate på 94%. For at gennemføre testene gav forskerne direkte uddrag fra virkelige nyhedsartikler og bad AI-værktøjerne om at identificere tilsvarende detaljer som overskrifter, udgivere, datoer og URL'er, i alt 1. 600 forespørgsler. En bekymrende tendens var, at statt for at undlade at svare, når de var usikre, tilbød modellerne ofte plausible, men forkerte svar, et mønster der var konsistent på tværs af alle de testede værktøjer. Premium-versioner af disse AI-værktøjer, såsom Perplexity Pro ($20/måned) og Grok 3's premium service ($40/måned), præsterede nogle gange dårligere, da de ofte gav forkerte svar på trods af at adressere et højere antal prompts korrekt. Deres tendens til at tilbyde usikre svar bidrog til højere samlede fejlprocenter. Undersøgelsen rejste også spørgsmål om udgiveres kontrol over deres indhold.

Nogle AI-værktøjer ignorerede Robot Exclusion Protocols, der skal forhindre uautoriseret adgang til bestemt indhold. For eksempel identificerede Perplexity’s gratis version uddrag fra betalingsmurede National Geographic-artikler, selvom adgang var eksplicit forbudt. Desuden, når AI-værktøjer nævnte kilder, henviste de ofte til syndikeret indhold på sider som Yahoo News i stedet for originale udgivere. Et betydeligt problem opstod med URL-fabrikationen—over halvdelen af citaterne fra Googles Gemini og Grok 3 førte til brudte eller ikke-eksisterende sider, hvor Grok 3 havde 154 ud af 200 citater, der resulterede i fejlsider. Denne situation placerer udgiverne i en vanskelig position: at blokere AI-crawlere kunne eliminere attribution, mens tilladelse til adgang letter genbrug af indhold uden at gavne de originale sites. Mark Howard, COO for Time Magazine, udtrykte bekymringer omkring gennemsigtighed og kontrol, men foreslog også muligheden for forbedring og sagde, at de nuværende AI-værktøjer vil udvikle sig positivt. Howard kritiserede skarpt brugere, der forventer fuld nøjagtighed fra gratis AI-tjenester, og foreslog, at skepsis er nødvendigt. OpenAI og Microsoft anerkendte undersøgelsens resultater, men svarede ikke direkte på de rejste spørgsmål. OpenAI understregede sit engagement i at støtte udgive, mens Microsoft hævdede at overholde Robot Exclusion Protocols. Denne rapport bygger videre på tidligere fund fra november 2024, som også fremhævede nøjagtighedsproblemer med ChatGPT's håndtering af nyhedsindhold. For yderligere oplysninger er den fulde rapport tilgængelig på Columbia Journalism Reviews hjemmeside.