AI 프로젝트는 연구 논문의 오류를 식별함으로써 과학적 성실성을 향상시킵니다.

Brief news summary

작년에는 암 발병과 관련된 가능성이 있는 불꽃 지연제 때문에 검은색 플라스틱 조리기구에 대한 우려가 제기되었습니다. 그러나 추가 조사 결과, 초기 연구에서의 수학적 오류가 발견되어 화학 물질의 수준이 안전하다는 것이 확인되었습니다. 이 사건은 과학적 정확성을 유지하는 데 있어 AI의 중요성을 부각시켰습니다. 이에 대한 대응으로, 연구의 유효성을 개선하기 위해 두 가지 AI 주도 이니셔티브가 시작되었습니다. Joaquín Gulloso가 이끄는 Black Spatula Project는 약 500개의 연구 논문을 분석하며, 오류를 정정하기 위해 저자와의 직접 협업을 선택했습니다. 공공 경고를 발행하기보다는 저자와의 협력을 통해 해결책을 모색했습니다. 동시에 Matt Schlicht는 YesNoError를 도입하여 기존의 연구 논문을 평가합니다. 단 2개월 만에 37,000개 이상의 연구를 암호화폐 기반 시스템을 사용하여 결함이 있는 연구를 식별하는 작업을 했으며, 정확성을 높이기 위해 인간 리뷰어를 추가할 계획입니다. 이 두 프로젝트는 연구의 진실성을 강화하고 잘못된 정보를 소거하기 위한 것입니다. 일부 학자들은 이러한 노력을 조심스럽게 지지하는 반면, Michèle Nuijten과 같은 전문가들은 오해의 위험성을 경고합니다. 법의학 메타 과학자인 James Heathers는 철저한 검증의 필요성을 강조합니다. 현재 이러한 AI 도구는 10%의 위양성률을 보이고 있으며, 학술 연구의 신뢰성을 보장하기 위해 개선된 방법의 긴급성이 강조되고 있습니다.

작년 말, 세계 미디어는 검은 플라스틱 조리기구가 암 관련 난연제의 우려되는 수준을 포함하고 있다고 보도했습니다. 그러나 후속 조사에서는 이 위험이 수학적 오류로 인해 과장되었다는 사실이 밝혀졌습니다. 특정 화학물질의 실제 농도는 주장된 안전 한계보다 열 배 낮았습니다. 연구자들은 AI 모델이 이러한 오류를 몇 초 안에 감지할 수 있었다고 지적했습니다. 이에 대한 대응으로, 과학 문헌에서 오류를 식별하기 위해 AI를 활용하는 두 개의 프로젝트가 등장했습니다. 블랙 스패출라 프로젝트는 오픈 소스 도구로, 약 500편의 논문을 오류 분석했으며, 콜롬비아 카르타헤나의 독립 AI 연구자 호아킨 굴로소에 따르면, 8명의 개발자와 많은 자원봉사 자문 위원이 발견된 내용에 대해 영향을 받은 저자들에게 직접 연락하기로 선택했습니다. 그는 “많은 오류를 잡아내고 있다”고 보고하며, 문제 있는 논문의 광범위한 목록을 언급했습니다. 두 번째 이니셔티브인 예스노에러는 블랙 스패출라에서 영감을 받아 모든 이용 가능한 논문을 검토하는 것을 목표로 하며, 전용 암호화폐의 지원을 받습니다. 창립자인 매트 슐리히트는 이 프로젝트가 단 2개월 만에 37, 000편 이상의 논문을 분석했다고 주장합니다. 웹사이트는 발견된 결함이 있는 논문을 식별하지만, 인간 검증은 아직 완료되지 않았습니다. 두 프로젝트 모두 연구자들이 저널 제출 전에 이 도구들을 사용하고, 저널들이 출판 전에 이를 활용하여 오류와 사기 작업이 과학 영역에 유입되는 것을 방지하도록 촉구합니다. 연구의 진실성을 중시하는 전문가들로부터 조심스러운 지지가 있지만, 잘못된 비난과 그 여파에 대한 우려도 존재합니다.

네덜란드 틸뷔르흐 대학교의 메타과학 연구자인 미셸 뉴이텐은 연구자가 잘못 식별되어 평판에 손상을 입지 않도록 도구의 주장을 검증하는 것이 중요하다고 강조합니다. 법의학 메타과학자인 제임스 헤서스는 위험이 존재하지만 과학적 진실성을 향상시키려는 목표가 중요하며, AI가 앞으로의 검토를 위해 논문 우선순위를 매기는 데 도움을 줄 수 있다고 언급합니다. 두 이니셔티브 모두 사실 오류 및 방법론적 결함을 포함한 여러 영역에서 오류를 감지하기 위해 대형 언어 모델(LLM)을 사용합니다. 이 과정은 논문에서 정보를 추출하고, 특수한 추론 모델을 위한 복잡한 프롬프트를 구성하며, 여러 분석을 통해 결과를 교차 검증하는 것을 포함합니다. 각 논문을 분석하는 비용은 논문의 길이와 복잡도에 따라 달라집니다. 그러나 주요 도전 과제는 높은 비율의 허위 긍정입니다. 블랙 스패출라 프로젝트는 약 10%의 오류를 잘못 식별하고 있으며, 이는 전문가 검증을 필수적이지만 어렵게 만듭니다. 슐리히트의 예스노에러는 10, 000편의 초기 연구에서 발견된 오류의 저자들로부터 90%의 사례에서 검증을 받았습니다. AI가 식별한 문제의 검증을 보장하기 위해 예스노에러가 동료 평가를 암호화폐로 보상하는 리서치허브와 협력할 계획이 진행 중이지만, 이 과정은 아직 시작되지 않았습니다.