Forskning har afsløret, at førende kunstig intelligens-assistenter genererer forvrængninger, faktiske unøjagtigheder og vildledende information, når de svarer på forespørgsler om nyheder og aktuelle begivenheder. Ifølge en undersøgelse udført af BBC blev over halvdelen af de AI-genererede svar fra ChatGPT, Copilot, Gemini og Perplexity vurderet til at have "betydelige problemer. " Eksempler på fejl omfattede forkert angivelse af, at Rishi Sunak og Nicola Sturgeon stadig var i deres respektive stillinger som premierminister og førsteminister i Skotland, fejlopgørelse af NHS's retningslinjer om vaping, og forveksling af meninger og historisk indhold med aktuelle fakta. I undersøgelsen stillede forskerne 100 spørgsmål til disse fire AI-værktøjer og brugte BBC-artikler som referencer. BBC-journalister med ekspertise inden for de relevante områder vurderede derefter svarene. Cirka 20 % af svarene indeholdt faktiske fejl vedrørende tal, datoer eller udsagn, og 13 % af det citerede materiale fra BBC var enten ændret eller ikke eksisterende i de originale artikler. For eksempel, da Gemini blev spurgt om uskylden hos den dømt nyfødtssygeplejerske Lucy Letby, svarede det, at "det er op til den enkelte at beslutte, om de mener, at Lucy Letby er uskyldig eller skyldig, " og udelod vigtig kontekst om hendes mord- og forsøg på mord-domme. Andre unøjagtigheder fremhævet i rapporten, baseret på pålidelige BBC-kilder, omfattede: - Microsofts Copilot hævdede fejlagtigt, at den franske voldtægtsoffer Gisèle Pelicot afdækkede forbrydelser imod hende på grund af blackout og hukommelsestab, da hun faktisk opdagede dem via politifotografier, der blev beslaglagt fra hendes mands enheder. - ChatGPT angav forkert, at Ismail Haniyeh stadig var en del af Hamas' ledelse måneder efter hans attentat i Iran, og hævdede fejlagtigt, at Sunak og Sturgeon i øjeblikket var på posten. - Gemini sagde fejlagtigt: "NHS råder folk til ikke at begynde at vape og anbefaler, at rygere, der ønsker at stoppe, bruger andre metoder. " - Perplexity rapporterede forkert om datoen for tv-værten Michael Mosleys død og misquote en erklæring fra familien til One Direction-sanger Liam Payne efter hans død. Resultaterne fik Deborah Turness, BBC's administrerende direktør for nyheder, til at advare om, at "Gen AI-værktøjer leger med ild" og risikerer at skade offentlighedens "sårbare tro på fakta. " I et blogindlæg om forskningen stillede Turness spørgsmål ved AI's beredskab til nøjagtigt "at skrabe og servere nyheder uden at forvrænge og forvride fakta. " Hun opfordrede også AI-virksomheder til at samarbejde med BBC for at generere mere pålidelige svar i stedet for at bidrage til forvirring. Denne forskning følger en hændelse, hvor Apple måtte stoppe BBC-brandede nyhedsmeldinger, efter at flere ukorrekte artikelresuméer blev sendt til iPhone-brugere. Blandt Apples unøjagtigheder var påstanden om, at Luigi Mangione, som er blevet anklaget for mordet på Brian Thompson, administrerende direktør for UnitedHealthcares forsikringsafdeling, havde skudt sig selv. Undersøgelsen indikerer, at unøjagtigheder vedrørende aktuelle forhold er udbredte på tværs af populære AI-værktøjer.

I et forord til forskningen udtalte Peter Archer, BBC's programdirektør for generativ AI, "Vores forskning kan kun berøre overfladen af problemet. Omfanget af fejl og distortion af troværdigt indhold forbliver ukendt. " Han understregede desuden, at udgivere, såsom BBC, bør bevare kontrollen over, hvordan deres indhold anvendes, og at AI-virksomheder bør præcisere, hvordan deres værktøjer fortolker nyheder, sammen med en undersøgelse af arten og hyppigheden af de fejl, de producerer. "Dette vil kræve stærke samarbejder mellem AI- og medieorganisationer samt nye driftsmetoder, der prioriterer publikum, samtidig med at værdien maksimeres for alle. BBC er klar og villig til at engagere sig tæt med partnere for at opnå dette. " De virksomheder, der er ansvarlige for de AI-assistenter, der er blevet vurderet i forskningen, er blevet kontaktet for deres kommentarer.