В кінці минулого року світові ЗМІ повідомили, що чорні пластикові кухонні прилади містять тривожні рівні вогнегасників, пов'язаних з раком. Однак подальше розслідування виявило, що цей ризик був перебільшений через математичну помилку; фактична концентрація одного специфічного хімікату виявилася в десять разів нижчою за заявлений безпечний ліміт. Дослідники вказали, що модель штучного інтелекту могла б виявити цю помилку за секунди. У відповідь з'явилися два проекти, які використовують ШІ для виявлення помилок у науковій літературі. Проект Black Spatula, інструмент з відкритим кодом, проаналізував близько 500 статей на наявність помилок, а його команда з восьми розробників та численних волонтерів вирішила безпосередньо зв’язатися з авторами, яких це торкнулося, щодо своїх висновків, за словами Хоакіна Гульосо, незалежного дослідника ШІ з Картахени, Колумбія. “Він виявляє багато помилок, ” — повідомляє він, зазначаючи довгий список проблемних статей. Другий проект, YesNoError, натхненний Black Spatula, має на меті переглянути всі наявні статті та підтримується спеціальною криптовалютою. Засновник Мэтт Шліхт стверджує, що проект проаналізував понад 37, 000 статей всього за два місяці. Його веб-сайт ідентифікує статті з виявленими недоліками, хоча людська перевірка ще триває. Обидва проекти закликають дослідників використовувати ці інструменти перед поданням до журналів, а журнали - використовувати їх до публікації, щоб запобігти потраплянню помилок і шахрайських робіт до наукової сфери. Є обережна підтримка з боку професіоналів, які займаються дослідженнями цілісності, хоча існують побоювання щодо потенційних помилкових звинувачень і їх впливу.

Мішель Нюйтен, дослідниця метанауки з Університету Тілбурга в Нідерландах, підкреслює важливість перевірки заяв інструменту, щоб уникнути репутаційних втрат для дослідників, яких помилково вважають помиляються. Джеймс Хізерс, судовий метанаук, зазначає, що, хоча ризики існують, мета покращення наукової цілісності є важливою, пропонуючи, що ШІ може допомогти пріоритезувати статті для подальшого перегляду. Обидва проекти використовують великі мовні моделі (LLMs) для виявлення помилок у різних областях, включаючи фактичні неточності та методологічні недоліки. Процес передбачає витягнення інформації з статей, формулювання складних запитів для спеціалізованої моделі міркування та потенційно перехресну перевірку результатів через кілька аналізів. Вартість аналізу кожної статті варіюється в залежності від її довжини та складності. Однак значним викликом є високий рівень помилкових позитивів; Проект Black Spatula повідомляє, що він неправильно визначає помилку приблизно в 10% випадків, тому верифікація експертами є необхідною, але складною. YesNoError Шліхта знайшов валідацію від авторів виявлених помилок у 90% випадків з початкового дослідження 10, 000 статей. Існують плани щодо співпраці YesNoError з ResearchHub, яка стимулює взаємну перевірку за допомогою криптовалюти, щоб забезпечити верифікацію питань, які були виявлені ШІ, хоча цей процес ще не розпочався.