Krajem prošle godine, svetski mediji su izvestili da crni plastični kuhinjski pribor sadrži zabrinjavajuće nivoe flamadžija povezanih sa rakom. Međutim, naknadna istraga je otkrila da je ovaj rizik pretvoren zbog matematičke greške; stvarna koncentracija određene hemikalije bila je deset puta niža od navodne bezbedne granice. Istraživači su ukazali da bi AI model mogao da otkrije ovu grešku u roku od nekoliko sekundi. Kao odgovor, pojavila su se dva projekta koja koriste AI za identifikovanje grešaka u naučnoj literaturi. Projekat Black Spatula, alat otvorenog koda, analizirao je oko 500 radova na greške, a tim od osam developera i brojni volonterski savetnici odlučili su da direktno kontaktiraju pogođene autore o svojim nalazima, prema rečima Joaquina Gullosa, nezavisnog istraživača AI iz Kartahene, Kolumbija. “Otkriva mnoge greške, ” izveštava on, naglašavajući opširnu listu problematičnih radova. Druga inicijativa, YesNoError, inspirisana Black Spatula, ima za cilj da pregleda sve dostupne radove i podržana je od strane posvećene kriptovalute. Osnivač Matt Schlicht tvrdi da je projekat analizirao više od 37. 000 radova za samo dva meseca. Njihov veb-sajt identifikuje radove sa otkrivenim greškama, iako ljudska verifikacija još uvek čeka. Oba projekta podstiču istraživače da koriste ove alate pre podnošenja radova za objavljivanje, kao i da ih časopisi koriste pre objavljivanja, s ciljem da spreče ulazak grešaka i prevarantskog rada u naučnu domena. Postoji oprezna podrška od profesionalaca fokusiranih na istraživačku integritet, iako postoje zabrinutosti o potencijalnim lažnim optužbama i njihovom uticaju.

Michèle Nuijten, istraživač metascience-a sa Univerziteta u Tilburgu u Holandiji, naglašava važnost verifikacije tvrdnji alata kako bi se izbegla reputaciona šteta za istraživače koji su pogrešno identifikovani kao grešni. James Heathers, forenzički metascientista, primećuje da, iako rizici postoje, cilj poboljšanja naučne integriteta je bitan, sugerišući da bi AI mogao pomoći u prioritetizaciji radova za dalje razmatranje. Obe inicijative koriste velike jezičke modele (LLM) za otkrivanje grešaka u različitim oblastima, uključujući činjenicne netačnosti i metodološke mane. Proces obuhvata ekstrakciju informacija iz radova, formulisanje složenih upita za specijalizovani model razmišljanja i potencijalno proveravanje rezultata kroz više analiza. Trošak analize svakog rada varira u zavisnosti od njegove dužine i složenosti. Međutim, značajan izazov je visok stepen lažnih pozitivnih rezultata; Projekat Black Spatula izveštava da pogrešno identifikuje grešku oko 10% vremena, što čini verifikaciju od strane stručnjaka bitnom, ali teškom. Schlichtov YesNoError je našao validaciju od autora otkrivenih grešaka u 90% slučajeva iz prvobitne studije od 10. 000 radova. Planira se saradnja YesNoError sa ResearchHub-om, koji motiviše recenziju sa kriptovalutom, kako bi se osigurala verifikacija problema koje je identifikovao AI, iako ovaj proces još nije počeo.