연구 논문 오류를 발견하는 AI 도구

1 week ago 3

AI 도구가 연구 논문에서 오류를 발견하는 방법

AI 도구의 등장: 최근 AI 도구들이 연구 논문에서 계산, 방법론, 참고 문헌의 오류를 찾아내고 있음. 이는 블랙 플라스틱 조리 도구의 독성에 대한 과장된 연구에서 비롯된 수학적 오류를 AI가 빠르게 발견한 사례에서 영감을 받음.
블랙 스패출라 프로젝트: 오픈 소스 AI 도구로, 약 500개의 논문을 분석하여 오류를 찾아내고 있음. 오류는 아직 공개되지 않았으며, 관련 저자에게 직접 접근하고 있음.
YesNoError 프로젝트: 블랙 스패출라 프로젝트에서 영감을 받아 시작된 프로젝트로, 자체 암호화폐로 자금을 조달하고 있음. 두 달 만에 37,000개 이상의 논문을 분석하였으며, 오류가 발견된 논문을 웹사이트에 표시하고 있음.
AI 도구의 목표: 연구자들이 논문을 제출하기 전에, 그리고 저널이 출판하기 전에 AI 도구를 사용하여 오류와 사기를 방지하고자 함. 그러나 AI 도구의 오류 탐지 능력과 주장된 오류의 검증 여부에 대한 명확성이 필요함.

AI의 역할: AI는 논문의 다양한 오류를 한 번에 검사하고 더 많은 논문을 처리할 수 있는 잠재력을 가짐. 블랙 스패출라 프로젝트와 YesNoError는 대형 언어 모델(LLM)을 사용하여 사실, 계산, 방법론, 참고 문헌의 오류를 찾아냄.
오류 탐지 과정: 논문에서 정보를 추출하고, '추론' 모델에 오류를 찾도록 지시하는 복잡한 명령어 세트를 작성함. 논문을 여러 번 분석하여 다양한 오류를 스캔하거나 결과를 교차 확인함.
오류율과 검증: 블랙 스패출라 프로젝트의 경우, 오류가 아닌 것을 오류로 판단하는 비율이 약 10%임. 각 오류는 전문가의 검증이 필요하며, 전문가를 찾는 것이 가장 큰 병목임.
YesNoError의 검증 계획: 초기 10,000개 논문에서 발견된 100개의 수학적 오류 중 90%의 저자가 오류를 인정함. 향후 ResearchHub와 협력하여 AI가 논문을 검토한 후 결과를 검증할 계획임.