Výzkum odhalil, že přední asistenti umělé inteligence generují zkreslení, faktické nepřesnosti a zavádějící informace při odpovědích na dotazy ohledně zpráv a aktuálních událostí. Podle studie provedené BBC bylo více než polovina AI-generovaných odpovědí od ChatGPT, Copilot, Gemini a Perplexity vyhodnocena jako obsahující „významné problémy“. Příklady chyb zahrnovaly nesprávné tvrzení, že Rishi Sunak a Nicola Sturgeon jsou stále ve svých funkcích předsedy vlády a prvního ministra Skotska, mylné interpretace pokynů NHS ohledně vapování a záměnu názorů a historického obsahu s aktuálními fakty. Ve studii výzkumníci položili těmto čtyřem AI nástrojům 100 otázek a používali jako reference články BBC. Novináři BBC s odborností v relevantních oblastech poté vyhodnotili odpovědi. Přibližně 20 % odpovědí obsahovalo faktické chyby týkající se čísel, dat nebo výroků, a 13 % citovaných materiálů přisuzovaných BBC bylo buď upraveno, nebo ve původních článcích neexistovalo. Například, když se ptali na nevinu odsouzené novorozenecké sestry Lucy Letby, Gemini odpověděl, že „je na každém jednotlivci, aby se rozhodl, zda věří, že je Lucy Letby nevinná nebo vinná, “ přičemž opomněl důležitý kontext týkající se jejího odsouzení za vraždu a pokus o vraždu. Další nepřesnosti zdůrazněné ve zprávě, založené na spolehlivých zdrojích BBC, zahrnovaly: - Microsoftův Copilot mylně uvedl, že francouzská oběť znásilnění Gisèle Pelicot odhalila zločiny proti sobě díky blackoutům a ztrátě paměti, když je ve skutečnosti objevila díky policejním záznamům zabaveným z zařízení jejího manžela. - ChatGPT nesprávně uvedl, že Ismail Haniyeh byl stále součástí vedení Hamasu měsíce po jeho atentátu v Íránu a mylně tvrdil, že Sunak a Sturgeon jsou v současné době ve funkci. - Gemini omylem řekl: „NHS doporučuje lidem, aby nezačínali vapovat, a doporučuje, aby kuřáci, kteří chtějí přestat, použili jiné metody. “ - Perplexity nepřesně uvedl datum úmrtí televizního moderátora Michaela Mosleyho a špatně citoval prohlášení rodiny zpěváka skupiny One Direction, Liama Paynea, po jeho smrti. Tyto zjištění přiměly Deborah Turness, generální ředitelku BBC pro zprávy, aby varovala, že „nástroje generativní AI si hrají s ohněm“ a riskují poškození veřejného „křehkého víry ve fakta“. V blogovém příspěvku o výzkumu Turness zpochybnila připravenost AI přesně „stahovat a poskytovat zprávy, aniž by zkreslovala a deformovala fakta. “ Také vyzvala společnosti zabývající se AI, aby spolupracovaly s BBC na generování spolehlivějších odpovědí, místo aby přispívaly k záměně. Tento výzkum následuje po incidentu, kdy Apple musel zastavit zasílání zpráv s alerty BBC poté, co byly zaslány několik nesprávných shrnutí článků uživatelům iPhonů. Mezi nepřesnostmi Apple bylo tvrzení, že Luigi Mangione, který byl obviněn z vraždy Briana Thompsona, generálního ředitele pojišťovací divize UnitedHealthcare, se zastřelil. Studie naznačuje, že nepřesnosti týkající se aktuálních záležitostí jsou rozšířené napříč populárními AI nástroji. V předmluvě k výzkumu Peter Archer, programový ředitel BBC pro generativní AI, uvedl: „Náš výzkum může pouze škrábnout povrch této problematiky.

Rozsah chyb a zkreslení důvěryhodného obsahu zůstává neznámý. “ Dále zdůraznil, že vydavatelé, jako je BBC, by měli mít kontrolu nad tím, jak je jejich obsah využíván, a společnosti AI by měly objasnit, jak jejich nástroje interpretují zprávy, spolu s přezkumem povahy a frekvence chyb, které produkují. „To bude vyžadovat silnou spolupráci mezi AI a mediálními organizacemi a nové provozní přístupy, které upřednostňují publikum a maximalizují hodnotu pro všechny. BBC je připravena a ochotna úzce spolupracovat s partnery, aby toho dosáhla. “ Společnosti odpovědné za AI asistenty hodnocené v tomto výzkumu byly kontaktovány pro jejich komentáře.