Neseniai BBC atliktas tyrimas atskleidžia, kad keturi žinomi dirbtinio intelekto (DI) pokalbių robotai klaidingai interpretuoja naujienų istorijas. Tyrimas buvo orientuotas į OpenAI ChatGPT, Microsoft Copilot, Google Gemini ir Perplexity AI, kurie gavo turinį iš BBC svetainės ir buvo paprašyti atsakyti į su naujienomis susijusius klausimus. Pasak tyrimo rezultatų, šių pokalbių robotų pateikti atsakymai turėjo "signifikantų netikslumą" ir klaidingą interpretaciją. Deborah Turness, BBC News ir Current Affairs generalinė direktorė, savo tinklaraščio įraše pažymėjo, kad nors DI siūlo "be galo daug galimybių", šias technologijas kuriantys kompanijos "žaidžia su ugnimi". Ji išreiškė susirūpinimą dėl galimų pavojų, susijusių su AI generuotais antraštėmis, abejodama, kiek laiko gali praeiti, kol tokie iškraipymai sukels rimtų realių pasekmių. Technologijų kompanijos, atsakingos už pokalbių robotus, buvo pakviestos komentuoti situaciją. Tyrime buvo prašoma ChatGPT, Copilot, Gemini ir Perplexity apibendrinti 100 naujienų straipsnių ir buvo vertinami jų atsakymai.

Žurnalistai, turintys atitinkamą kompetenciją, įvertino AI sistemų teikiamų atsakymų kokybę. Rezultatai parodė, kad 51% AI generuotų atsakymų turėjo reikšmingų problemų. Be to, 19% atsakymų, kuriose minimas BBC turinys, turėjo faktinių klaidų, kurios svyravo nuo neteisingų teiginių iki klaidingų skaitmenų ir datų. Savo tinklaraštyje ponia Turness pabrėžė bendradarbiavimo tarp BBC ir DI technologijų teikėjų būtinybę sprendžiant šias problemas. Ji ragino technologijų kompanijas "sustoti" su savo DI generuotomis naujienų santraukų, panašiai kaip Apple elgėsi po BBC skundų dėl neteisingų Apple Intelligence naujienų interpretacijų. Keletas konkrečių netikslumų, kuriuos išskyrė BBC, apėmė: - Gemini klaidingai teigė, kad NHS nerekomenduoja vartoti elektroninių cigarečių (vaping) mesti rūkyti. - ChatGPT ir Copilot neteisingai pareiškė, kad Rishi Sunak ir Nicola Sturgeon vis dar yra pareigose, nepaisant jų atsistatydinimo. - Perplexity klaidingai priskyrė citatą iš BBC News apie Artimuosius Rytus, neteisingai apibūdindamas Irano reakciją kaip "susiaurėjusią", tuo tarpu Izraelio veiksmus pavadindamas "agresyviais". Iš viso Microsoft's Copilot ir Google's Gemini pateikė daugiau reikšmingų problemų, palyginti su OpenAI's ChatGPT ir Perplexity, už kurio stovi Jeffas Bezosas. Tradiciškai BBC riboja savo turinį pokalbių robotams, tačiau leido prieigą per bandymus, vykdytus 2024 metų gruodį. Ataskaitoje nurodyta, kad be faktinių netikslumų, pokalbių robotai dažnai nesugebėjo atskirti nuomonės nuo fakto, dažnai tendencingai redagavo ir dažnai trūko kritinio konteksto. Pete Archer, BBC programos direktorė generatyviam DI, pareiškė, kad leidėjai turėtų išlaikyti kontrolę, kaip jų turinys yra naudojamas, ir DI kompanijos privalo parodyti skaidrumą, kaip jų sistemos apdoroja naujienas ir kokio masto klaidų jos generuoja.