Sent sent den globale medie rapporterede sent sidste år, at sorte plastikkøkkenredskaber indeholdt bekymrende niveauer af kræftrelaterede flammehæmmere. En efterfølgende undersøgelse viste dog, at denne risiko var blevet overdrevet på grund af en matematisk fejl; den faktiske koncentration af et specifikt kemikalie var ti gange lavere end den påståede sikre grænse. Forskere indikerede, at en AI-model kunne have opdaget denne fejl på få sekunder. Som svar dukkede to projekter op, der bruger AI til at identificere fejl i den videnskabelige litteratur. Black Spatula Project, et open-source værktøj, har analyseret omkring 500 artikler for fejl, og dets team af otte udviklere samt adskillige frivillige rådgivere har valgt at kontakte berørte forfattere direkte om deres fund, ifølge Joaquin Gulloso, en uafhængig AI-forsker i Cartagena, Colombia. "Det fanger mange fejl, " rapporterer han og bemærker en omfattende liste over problematiske artikler. Det andet initiativ, YesNoError, inspireret af Black Spatula, har til formål at gennemgå alle tilgængelige artikler og understøttes af en dedikeret kryptovaluta. Grundlægger Matt Schlicht hævder, at projektet har analyseret over 37. 000 artikler på blot to måneder. Dets hjemmeside identificerer artikler med påviste fejl, selvom menneskelig verificering stadig afventer. Begge projekter opfordrer forskere til at bruge disse værktøjer før indsendelse til tidsskrifter, og for tidsskrifter til at udnytte dem inden offentliggørelse, med det formål at forhindre fejl og svigagtigt arbejde i at trænge ind i den videnskabelige domain. Der er forsigtig støtte fra fagfolk med fokus på forskningsintegritet, selvom der er bekymringer angående potentielle falske anklager og deres indvirkning.

Michèle Nuijten, en metavidenskabsforsker fra Tilburg Universitet i Holland, understreger vigtigheden af at verificere værktøjets påstande for at undgå omdømmeskader for forskere, der fejlagtigt identificeres som værende i fejltagelser. James Heathers, en retsmedicinsk metavidenskabsmand, bemærker, at selvom der er risici, er målet om at forbedre den videnskabelige integritet essentielt, og han foreslår, at AI kan hjælpe med at prioritere artikler til yderligere gennemgang. Begge initiativer bruger store sprogmodeller (LLMs) til at opdage fejl inden for en række områder, herunder faktiske unøjagtigheder og metodologiske mangler. Processen involverer at udtrække information fra artikler, formulere komplekse forespørgsler til en specialiseret ræsonneringsmodel og potentielt krydstjekke resultaterne gennem flere analyser. Omkostningerne ved at analysere hver artikel varierer baseret på dens længde og kompleksitet. En betydelig udfordring er dog den høje rate af falske positiver; Black Spatula Project rapporterer, at det fejlagtigt identificerer en fejl omkring 10% af tiden, hvilket gør ekspertverificering essentiel, men vanskelig. Schlichts YesNoError har fundet validering fra forfattere af påviste fejl i 90% af tilfældene fra en indledende undersøgelse af 10. 000 artikler. Der er planer om, at YesNoError skal samarbejde med ResearchHub, som incitamenterer peer review med kryptovaluta, for at sikre verificeringen af AI-identificerede problemer, selvom denne proces endnu ikke er begyndt.