Forskning har avdekket at ledende kunstig intelligens-assistenter genererer forvrengninger, faktiske unøyaktigheter og villedende informasjon når de svarer på spørsmål om nyheter og aktuelle hendelser. Ifølge en studie utført av BBC, ble over halvparten av de AI-genererte svarene fra ChatGPT, Copilot, Gemini og Perplexity vurdert til å ha "signifikante problemer. " Eksempler på feil inkluderte å feilaktig oppgi at Rishi Sunak og Nicola Sturgeon fortsatt var i sine respektive posisjoner som statsminister og førsteminister i Skottland, feiltolke NHS-rådgivning om vaping, og forveksle meninger og historisk innhold med aktuelle fakta. I studien stilte forskerne 100 spørsmål til disse fire AI-verktøyene, og brukte BBC-artikler som referanser. BBC-journalister med ekspertise på de relevante områdene evaluerte deretter svarene. Omtrent 20 % av svarene inneholdt faktiske feil angående tall, datoer eller uttalelser, og 13 % av det siterte materialet tilskrevet BBC var enten endret eller ikke eksisterte i de originale artiklene. For eksempel, når de ble spurt om uskyldigheten til den dømte nyfødt-pleieren Lucy Letby, svarte Gemini at "det er opp til hver enkelt å bestemme om de tror Lucy Letby er uskyldig eller skyldig, " og utelot viktig kontekst vedrørende hennes draps- og drapsforsøk-dommer. Andre unøyaktigheter fremhevet i rapporten, basert på pålitelige BBC-kilder, inkluderte: - Microsofts Copilot feilaktig hevdet at den franske voldtektsofferet Gisèle Pelicot avdekket forbrytelser mot henne på grunn av svartinger og hukommelsestap, mens hun faktisk oppdaget dem gjennom politivideoer beslaglagt fra ektemannens enheter. - ChatGPT oppga feilaktig at Ismail Haniyeh fortsatt var en del av Hamas' lederskap måneder etter hans henrettelse i Iran, og påsto falsk at Sunak og Sturgeon for tiden var i embetet. - Gemini sa feilaktig: "NHS anbefaler folk å ikke begynne å vape, og anbefaler at røykere som ønsker å slutte, bruker andre metoder. " - Perplexity rapporterte unøyaktig datoen for TV-programleder Michael Mosleys død og siterte feil en uttalelse fra familien til One Direction-sangeren Liam Payne etter hans bortgang. Funnene fikk Deborah Turness, BBCs administrerende direktør for nyheter, til å advare om at "Gen AI-verktøy spiller med ild" og risikerer å skade publikumets "skjør tro på fakta. " I et blogginnlegg om forskningen, stilte Turness spørsmål ved AI-ers evne til nøyaktig å "skrape og presentere nyheter uten å forvrenger og forvrenge fakta. " Hun oppfordret også AI-selskaper til å samarbeide med BBC for å generere mer pålitelige svar i stedet for å bidra til forvirring. Denne forskningen følger en hendelse der Apple måtte stoppe BBC-merkede nyhetsvarsler etter at flere feilaktige artikkelsammendrag ble sendt til iPhone-brukere. Blant Apples unøyaktigheter var påstanden om at Luigi Mangione, som er siktet for mordet på Brian Thompson, administrerende direktør for UnitedHealthcares forsikringsavdeling, hadde skutt seg selv. Studien indikerer at unøyaktigheter angående aktuelle saker er utbredt på populære AI-verktøy. I forordet til forskningen uttalte Peter Archer, BBCs programdirektør for generativ AI, "Vår forskning kan bare skrape overflaten av problemet.

Omfanget av feil og forvrengningen av troverdig innhold forblir ukjent. " Han understreket videre at utgivere, som BBC, bør beholde kontrollen over hvordan innholdet deres brukes, og at AI-selskaper bør klargjøre hvordan verktøyene deres tolker nyheter, i tillegg til en undersøkelse av naturen og hyppigheten av feil de produserer. "Dette vil kreve sterke samarbeidsforhold mellom AI- og medieorganisasjoner og nye driftsmetoder som prioriterer publikum samtidig som de maksimerer verdien for alle. BBC er klar og villig til å samarbeide tett med partnere for å oppnå dette. " Selskapene som står bak de AI-assistentene som ble vurdert i forskningen, har blitt kontaktet for kommentarer.