Isang kamakailang pag-aaral na isinagawa ng BBC ang nagbunyag na apat na prominenteng artificial intelligence (AI) chatbots ay hindi tama ang paglalarawan ng mga balita. Ang pananaliksik ay nakatuon sa ChatGPT ng OpenAI, Copilot ng Microsoft, Gemini ng Google, at Perplexity AI, na binigyan ng nilalaman mula sa website ng BBC at hinilingang tumugon sa mga tanong tungkol sa balita. Ayon sa mga natuklasan, ang mga sagot na ginawa ng mga chatbots na ito ay naglaman ng "malalaking hindi pagkakatugma" at maling paglalarawan. Itinuro ni Deborah Turness, CEO ng BBC News and Current Affairs, sa isang blog post na habang ang AI ay nag-aalok ng "walang katapusang pagkakataon, " ang mga kumpanyang bumubuo ng mga teknolohiyang ito ay "naglalaro sa apoy. " Nagbigay siya ng mga pangamba ukol sa potensyal na panganib ng mga balitang nilikha ng AI, na nagtatanong kung gaano katagal bago magdulot ang mga ganitong pagkakamali ng seryosong epekto sa totoong mundo. Ang mga kumpanyang teknolohiya na responsable sa mga chatbots ay nakontak para sa kanilang mga sagot. Ang pag-aaral ay kinabibilangan ng pagtatanong sa ChatGPT, Copilot, Gemini, at Perplexity na ibatabi ang 100 artikulo ng balita at tasahin ang kanilang mga sagot. Ang mga mamamahayag na may kaalaman sa mga kaugnay na paksa ay humusga sa kalidad ng mga sagot mula sa mga sistema ng AI. Ipinakita ng mga resulta na 51% ng mga sagot na nilikha ng AI ay naglaman ng mahahalagang isyu.

Bukod dito, 19% ng mga sagot na tumutukoy sa nilalaman ng BBC ay may kasamang factual errors, mula sa mga maling pahayag hanggang sa mga maling numero at petsa. Sa kanyang blog, binigyang-diin ni Ms. Turness ang pangangailangan para sa isang kolaboratibong diskarte sa pagitan ng BBC at mga tagapagbigay ng teknolohiya ng AI upang matugunan ang mga hamong ito. Hinihikayat niya ang mga kumpanyang teknolohiya na "magpulot" sa kanilang mga buod ng balitang nilikha ng AI, katulad ng ginawa ng Apple pagkatapos ng mga reklamo ng BBC ukol sa maling representasyon ng Apple Intelligence sa balita. Ilan sa mga tiyak na hindi pagkakatugma na itinampok ng BBC ay kinabibilangan ng: - Mali ang sinabi ng Gemini na ang NHS ay hindi inirerekomenda ang vaping para sa pagtigil sa paninigarilyo. - Mali ang sinabi ng ChatGPT at Copilot na ang Rishi Sunak at Nicola Sturgeon ay nasa pwesto pa rin sa kabila ng kanilang pag-alis. - Mali ang naitalang pahayag mula sa BBC News patungkol sa Gitnang Silangan, kung saan mali ang paglalarawan sa tugon ng Iran bilang "pagpipigil" habang nilagyan ang mga aksyon ng Israel bilang "agresibo. " Sa kabuuan, ang Copilot ng Microsoft at Gemini ng Google ay nagpakita ng mas malalaking isyu kumpara sa ChatGPT ng OpenAI at Perplexity, na suportado ni Jeff Bezos. Tradisyonal na, nililimitahan ng BBC ang nilalaman nito mula sa mga AI chatbots ngunit pinayagan ang pag-access sa panahon ng pagsusuri na isinagawa noong Disyembre 2024. Ipinakita ng ulat na, bilang karagdagan sa mga factual inaccuracies, ang mga chatbots ay madalas na nahihirapang pag-iba-ibahin ang opinyon at katotohanan, may tendensiyang mag-editorialize, at madalas na kulang sa mahalagang konteksto. Sinabi ni Pete Archer, ang Programme Director ng BBC para sa Generative AI, na dapat panatilihin ng mga publisher ang kontrol sa kung paano ginagamit ang kanilang nilalaman, at ang mga kumpanya ng AI ay dapat ipakita ang transparency tungkol sa kung paano ipinoproseso ng kanilang mga sistema ang balita at ang sukat ng mga pagkakamaling nalilikha nila.