Istraživanje je otkrilo da vodeći asistenti umjetne inteligencije generiraju iskrivljenja, faktografske netačnosti i obmanjujuće informacije kada odgovaraju na upite o vijestima i aktuelnim događajima. Prema studiji koju je sprovela BBC, više od polovine odgovora generisanih od strane ChatGPT-a, Copilota, Geminija i Perplexityja ocijenjeno je kao "značajne probleme". Primjeri grešaka uključivali su netočno tvrdnje da su Rishi Sunak i Nicola Sturgeon još uvijek na svojim pozicijama premijera i prvog ministra Škotske, pogrešno prikazivanje NHS smjernica o pušenju, te miješanje mišljenja i historijskog sadržaja sa trenutnim činjenicama. U studiji su istraživači postavili 100 pitanja ovim četirima alatima umjetne inteligencije, koristeći BBC članke kao reference. BBC novinari sa stručnim znanjem u relevantnim oblastima su zatim ocijenili odgovore. Otprilike 20% odgovora sadržavalo je faktografske greške vezane za brojeve, datume ili izjave, dok je 13% citiranih materijala pripisanih BBC-u bilo ili izmijenjeno ili nepostojeće u originalnim člancima. Na primjer, kada je upitan o nevinoj krivici osuđene neonatalne medicinske sestre Lucy Letby, Gemini je odgovorio da "je na svakom pojedincu da odluči vjeruje li da je Lucy Letby nevina ili kriva", izostavljajući ključni kontekst o njenim presudama za ubistvo i pokušaj ubistva. Druge netačnosti istaknute u izvještaju, baziranoj na pouzdanim izvorima BBC-a, uključivale su: - Microsoftov Copilot je netočno tvrdio da je francuska žrtva silovanja Gisèle Pelicot otkrila zločine protiv nje zbog gubitaka svijesti i gubitka pamćenja, kada ih je zapravo otkrila putem policijske snimke oduzete sa uređaja njenog muža. - ChatGPT je netočno izjavio da je Ismail Haniyeh još uvijek dio vodstva Hamasa mjesecima nakon njegovog ubistva u Iranu, te pogrešno tvrdio da su Sunak i Sturgeon trenutno na funkcijama. - Gemini je pogrešno rekao, "NHS savjetuje ljudima da ne počinju pušiti i preporučuje da pušači koji žele prestati koriste druge metode. " - Perplexity je netočno izvijestio o datumu smrti TV voditelja Michaela Mosleya i pogrešno citirao izjavu porodice pjevača One Directiona, Liam Paynea, nakon njegove smrti. Nalazi su naveli Deborah Turness, izvršnu direktoricu BBC-a za vijesti, da upozori da "Gen AI alati se igraju s vatrom" i riskiraju oštećenje "krhkog povjerenja javnosti u činjenice. " U blogu o istraživanju, Turness je postavila pitanje spremnosti AI da precizno "izvlači i pruža vijesti bez iskrivljavanja i izobličenja činjenica. " Također je pozvala kompanije umjetne inteligencije da sarađuju s BBC-om kako bi generirale pouzdanije odgovore umjesto da doprinose zbunjenosti. Ovo istraživanje dolazi nakon incidenta u kojem je Apple morao obustaviti upozorenja o vijestima brendiranim od strane BBC-a nakon što je nekoliko netočnih sažetaka članaka poslano korisnicima iPhone-a. Među Appleovim netačnostima bila je tvrdnja da je Luigi Mangione, koji je optužen za ubistvo Briana Thompsona, izvršnog direktora osiguravajuće divizije UnitedHealthcare, pucao u sebe. Studija ukazuje da su netačnosti vezane za aktuelna dešavanja prisutne u popularnim alatima umjetne inteligencije. U uvodu istraživanja, Peter Archer, programski direktor BBC-a za generativnu AI, izjavio je, “Naše istraživanje može samo površno dodirnuti problem.

Stepen grešaka i iskrivljavanje kredibilnog sadržaja ostaje nepoznat. ” Dodatno je naglasio da bi izdavači, poput BBC-a, trebali zadržati kontrolu nad načinom na koji se njihov sadržaj koristi, a kompanije AI trebale bi pojasniti kako njihovi alati interpretiraju vijesti, uz ispitivanje prirode i učestalosti grešaka koje proizvode. “To će zahtijevati jaku saradnju između AI i medijskih organizacija i nove operativne pristupe koji prioritiziraju publiku dok maksimiziraju vrijednost za sve. BBC je spreman i voljan blisko angažirati se s partnerima kako bi to postigao. ” Kompanije odgovorne za AI asistente evaluirane u istraživanju su kontaktirane za njihove komentare.