Alla fine dello scorso anno, i media globali hanno riportato che gli utensili da cucina in plastica nera contenevano livelli preoccupanti di ritardanti di fiamma correlati al cancro. Tuttavia, indagini successive hanno rivelato che questo rischio era stato esagerato a causa di un errore matematico; la concentrazione effettiva di una specifica sostanza chimica era dieci volte inferiore al limite di sicurezza presunto. I ricercatori hanno indicato che un modello di intelligenza artificiale avrebbe potuto rilevare questo errore in pochi secondi. In risposta, sono emersi due progetti che utilizzano l'IA per identificare errori nella letteratura scientifica. Il Black Spatula Project, uno strumento open-source, ha analizzato circa 500 articoli per errori, con il suo team di otto sviluppatori e numerosi consulenti volontari che hanno scelto di contattare direttamente gli autori coinvolti riguardo alle loro scoperte, secondo quanto dichiarato da Joaquin Gulloso, un ricercatore indipendente di IA a Cartagena, Colombia. “Sta scoprendo molti errori, ” riporta, notando un elenco esteso di articoli problematici. La seconda iniziativa, YesNoError, ispirata al Black Spatula, mira a rivedere tutti gli articoli disponibili ed è sostenuta da una criptovaluta dedicata. Il fondatore Matt Schlicht afferma che il progetto ha analizzato oltre 37. 000 articoli in soli due mesi. Il suo sito web identifica gli articoli con difetti rilevati, sebbene la verifica umana sia ancora in sospeso. Entrambi i progetti incoraggiano i ricercatori a utilizzare questi strumenti prima della sottomissione ai giornali e per i giornali a impiegarli prima della pubblicazione, con l'obiettivo di prevenire errori e lavori fraudolenti nell'ambito scientifico. C'è un cauto sostegno da parte dei professionisti focalizzati sull'integrità della ricerca, anche se sussistono preoccupazioni riguardo a potenziali false accuse e il loro impatto.

Michèle Nuijten, ricercatrice di metascienza dell'Università di Tilburg nei Paesi Bassi, sottolinea l'importanza di verificare le affermazioni degli strumenti per evitare danni reputazionali per i ricercatori erroneamente identificati come in errore. James Heathers, un metascienziato forense, osserva che mentre esistono rischi, l'obiettivo di migliorare l'integrità scientifica è essenziale, suggerendo che l'IA potrebbe aiutare a dare priorità agli articoli per ulteriori revisioni. Entrambe le iniziative utilizzano modelli di linguaggio di grandi dimensioni (LLM) per rilevare errori in vari ambiti, comprese imprecisioni fattuali e difetti metodologici. Il processo implica l'estrazione di informazioni dagli articoli, la formulazione di complesse richieste per un modello di ragionamento specializzato e, potenzialmente, la verifica incrociata dei risultati attraverso più analisi. Il costo per analizzare ciascun articolo varia in base alla lunghezza e complessità. Tuttavia, una sfida significativa è l'alto tasso di falsi positivi; il Black Spatula Project riporta che identifica erroneamente un errore circa il 10% delle volte, rendendo essenziale ma difficile la verifica da parte di esperti. Il YesNoError di Schlicht ha trovato convalida da parte degli autori degli errori rilevati nel 90% dei casi di uno studio iniziale di 10. 000 articoli. Sono in corso piani per collaborare con ResearchHub, che incentiva la revisione tra pari con criptovaluta, per garantire la verifica delle questioni identificate dall'IA, anche se questo processo deve ancora iniziare.