Nedavna študija, ki jo je izvedel BBC, razkriva, da štirje ugledni chatboti umetne inteligence (UI) napačno predstavljajo novice. Raziskava se je osredotočila na OpenAI's ChatGPT, Microsoft's Copilot, Google's Gemini in Perplexity AI, ki so prejeli vsebine s spletne strani BBC in bili prosjani, naj odgovorijo na vprašanja, povezana z novicami. Po ugotovitvah so odgovori, ki so jih navedli ti chatboti, vsebovali "pomembne netočnosti" in napačne predstave. Deborah Turness, direktorica BBC News in Current Affairs, je v objavi na blogu izpostavila, da umetna inteligenca nudi "neskončne priložnosti, " vendar podjetja, ki razvijajo te tehnologije, "igrajo z ognjem. " Poudarila je skrbi glede potencialnih nevarnosti naslovov, ki jih generira UI, in se vprašala, koliko časa bo minilo, preden takšne izkrivljanja privedejo do resnih posledic v resničnem svetu. Tehnološka podjetja, odgovorna za chatbot-e, so bila kontaktirana za odzive. Študija je vključevala vprašanje ChatGPT, Copilot, Gemini in Perplexity, naj povzema 100 novic in ocenjevanje njihovih odgovorov. Novinarji, ki imajo strokovno znanje na relevantnih področjih, so ocenili kakovost odgovorov iz sistemov UI. Rezultati so pokazali, da je 51% odgovorov, ustvarjenih z UI, imelo pomembne težave.

Poleg tega je 19% odgovorov, ki so se sklicevali na vsebine BBC, vključevalo dejanske napake, ki so segale od napačnih izjav do netočnih številk in datumov. V svojem blogu je gospa Turness poudarila potrebo po sodelovalnem pristopu med BBC in ponudniki tehnologij UI za reševanje teh izzivov. Pozvala je tehnološka podjetja, naj "zmanjšajo" svoje povzetke novic, podobno kot je Apple ukrepal po pritožbah BBC glede napačnih predstavitev novic, povezanih z Apple Intelligence. Več konkretnih netočnosti, ki jih je izpostavil BBC, je vključevalo: - Gemini je napačno trdil, da NHS ne priporoča inhaliranja za prenehanje kajenja. - ChatGPT in Copilot sta zmotno trdila, da sta Rishi Sunak in Nicola Sturgeon še vedno v uradu kljub njunim odhodom. - Perplexity je napačno pripisal citat iz BBC News glede Bližnjega vzhoda, napačno opisal odziv Irana kot "zadržanost, " medtem ko je izraelske akcije označil kot "agresivne. " Na splošno sta Microsoft's Copilot in Google's Gemini pokazala večje težave v primerjavi z OpenAI's ChatGPT in Perplexity, ki ga podpira Jeff Bezos. Tradicionalno BBC omejuje dostop do svojih vsebin za UI chatbote, vendar je dovolil dostop med testiranjem, izvedenim decembra 2024. Poročilo je navedlo, da poleg dejanskih netočnosti chatbot-i pogosto niso znali razlikovati med mnenjem in dejstvom, so imeli tendenco k uredniškemu obravnavanju in pogosto niso vsebovali kritičnega konteksta. Pete Archer, direktor programa za Generativno UI pri BBC, je dejal, da naj založniki obdržijo nadzor nad tem, kako se njihova vsebina uporablja, ter da morajo podjetja UI dokazati preglednost glede načina, kako njihovi sistemi obdelujejo novice in obseg napak, ki jih generirajo.