Tutkimus on paljastanut, että johtavat tekoälyavustajat tuottavat vääristymiä, tosiasiallisia virheitä ja harhaanjohtavaa tietoa vastatessaan kysymyksiin uutisista ja ajankohtaisista tapahtumista. BBC:n tekemän tutkimuksen mukaan yli puolet ChatGPT:n, Copilotin, Geminin ja Perplexityn tuottamista vastauksista arvioitiin sisältävän "merkittäviä ongelmia". Esimerkkejä virheistä olivat muun muassa virheellisesti väitetty, että Rishi Sunak ja Nicola Sturgeon ovat edelleen omilla paikoillaan pääministerinä ja Skotlannin ensimmäisenä ministerinä, NHS:n vaping-ohjeiden vääristely, sekä mielipiteiden ja historiallisten sisältöjen sekoittaminen nykyisiin faktoihin. Tutkimuksessa tutkijat esittivät 100 kysymystä näille neljälle tekoälytyökalulle käyttäen BBC:n artikkeleita viittauksina. BBC:n asiantuntevat toimittajat arvioivat vastaukset. Noin 20 % vastauksista sisälsi tosiasiallisia virheitä koskien numeroita, päivämääriä tai lausuntoja, ja 13 % BBC:ltä viitatuista lainauksista oli joko muokattu tai puuttui alkuperäisistä artikkeleista. Esimerkiksi kysyttäessä tuomittuun vastasyntyneiden hoitajaan Lucy Letbyhin liittyvää syyttömyyttä, Gemini vastasi, että "kukin yksilö päättää itse, uskoako Lucy Letbyn olevan syytön vai syyllinen", jättämättä pois keskeistä kontekstia hänen murhatun ja yrittäjän murhan tuomioistaan. Muita raportissa korostettuja virheitä, jotka perustuvat luotettaviin BBC:n lähteisiin, olivat: - Microsoftin Copilot väitti virheellisesti, että ranskalainen raiskausuhri Gisèle Pelicot paljasti rikoksia blackouttien ja muistihäiriöiden vuoksi, kun hän itse asiassa löysi ne puolisoonsa liittyvistä poliisivideoista. - ChatGPT sanoi virheellisesti, että Ismail Haniyeh oli edelleen osa Hamasin johtoa kuukausia hänen murhansa jälkeen Iranissa, ja väitti myös väärin, että Sunak ja Sturgeon olivat tällä hetkellä virassa. - Gemini väitti virheellisesti: "NHS neuvoo ihmisiä olemaan aloittamatta vapingia ja suosittelee, että tupakoitsijat, jotka haluavat lopettaa, käyttäisivät muita menetelmiä. " - Perplexity raportoi virheellisesti TV-kasvo Michael Mosleyn kuolinpäivämäärästä ja virheellisesti lainasi Liam Paynen perheen lausuntoa hänen kuolemansa jälkeen. Tulokset saivat BBC:n uutisten pääjohtaja Deborah Turnessin varoittamaan, että "Gen AI -työkalut leikkivät tulen kanssa" ja vaarantavat yleisön "hauraan uskonsa faktoihin. " Tutkimuksesta kirjoittamassaan blogikirjoituksessa Turness kyseenalaisti tekoälyn valmiuden tarkasti "nakkissilla ja palvelevilla uutisilla ilman faktojen vääristelyä ja vääristelyä. " Hän kehotti myös tekoälyyrityksiä yhteistyöhön BBC:n kanssa luodakseen luotettavampia vastauksia sen sijaan, että se lisäisi hämmennystä. Tämä tutkimus seuraa tapausta, jossa Applen oli pakko keskeyttää BBC-brändättyjen uutisilmoitusten lähettämiset sen jälkeen, kun useita virheellisiä artikkelitiivistelmiä lähetettiin iPhone-käyttäjille. Applen virheellisyydet sisältivät väitteen, että Luigi Mangione, jota on syytetty Brian Thompsonin, UnitedHealthcare:n vakuutusyksikön toimitusjohtajan, murhasta, oli ampunut itseään. Tutkimus osoittaa, että ajankohtaisiin asioihin liittyvät virheet ovat yleisiä suosituissa tekoälytyökaluissa. Tutkimuksen esipuheessa BBC:n generatiivisen tekoälyn ohjelmadirektori Peter Archer totesi: "Tutkimuksemme voi vain raaputtaa pinnan ongelmasta.

Virheiden laajuus ja uskottavan sisällön vääristely ovat edelleen tuntemattomia. " Hän korosti myös, että julkaisijoiden, kuten BBC:n, tulisi säilyttää valta sen suhteen, miten heidän sisältöään käytetään, ja tekoälyyritysten tulisi selventää, miten heidän työkalunsa tulkitsevat uutisia, sekä tutkia virheiden luonteen ja esiintymistiheyden. "Tämä vaatii vahvaa yhteistyötä tekoäly- ja mediayritysten välillä ja uusia toimintatapoja, jotka priorisoivat yleisön samalla maksimoiden arvon kaikille. BBC on valmis ja halukas tekemään tiivistä yhteistyötä kumppaneidensa kanssa tämän saavuttamiseksi. " Tutkimuksessa arvioitujen tekoälyavustajien vastuulliset yritykset on otettu yhteyttä kommenttien osalta.