-
GPTZero의 Hallucination Check 도구가 NeurIPS 2025 승인 논문 5,290편 중 4,841편을 분석해 100건 이상의 ‘환각 인용(hallucinated citations)’ 을 확인
- 다수의 논문에서 존재하지 않는 저자, 잘못된 DOI·URL, 조작된 제목 등 AI 생성 흔적이 발견됨
- GPTZero는 이러한 오류를 ‘vibe citing’ 이라 정의하며, 이는 실제 논문 정보를 혼합·변형해 그럴듯하게 꾸민 인용 형태로 설명
- 모든 사례는 인간 전문가 검증을 거쳤으며, 도구는 거짓 음성률이 매우 낮고(99% 탐지) , 대신 보수적으로 의심 사례를 표시
- 연구 논문 작성과 검증 과정에서 AI 인용 오류 탐지 자동화의 필요성을 보여주는 사례로 평가됨
GPTZero의 NeurIPS 2025 논문 분석 결과
- GPTZero는 NeurIPS 2025에 채택된 5,290편 중 4,841편을 스캔하여 100건 이상의 환각 인용을 발견
- 각 사례는 인간 검증을 통해 실제 존재하지 않는 인용임이 확인
- 예시로, 존재하지 않는 저널명·저자명·DOI를 포함한 인용이 다수 발견됨
- GPTZero는 이러한 인용 오류를 AI 생성 흔적(vibe citing) 으로 분류
- 실제 논문 제목과 저자를 조합하거나 변형한 가짜 인용이 대표적 형태
- 일부는 실제 논문과 유사한 제목을 사용하지만, 연도·출처·저자 불일치로 확인됨
‘Vibe Citing’의 정의와 유형
- GPTZero는 ‘vibe citing’ 을 “생성형 AI가 실제 출처를 조합·변형해 만든 인용”으로 정의
-
저자명·제목·출판사·DOI 등을 조작하거나 합성한 사례 포함
-
실제 존재하는 논문을 부분적으로 인용하거나, 가짜 저널명을 만들어내는 경우도 있음
- 반면, 단순한 오타·죽은 링크·누락된 페이지 번호 등은 인간 오류로 간주되어 제외됨
- GPTZero는 실제·결함·환각 인용의 차이를 비교표로 제시
- 예: “Deep learning” 논문을 “Samuel LeCun Jackson. Deep learning. Science & Nature, 2021.”로 변형한 경우 환각 인용으로 분류
Hallucination Check 도구의 기능
-
Hallucination Check는 인용 검증을 자동화하는 AI 기반 탐지 시스템
- 온라인에서 확인되지 않는 인용을 자동으로 표시
-
저자·편집자·심사자가 인용 오류를 빠르게 검토할 수 있도록 지원
-
활용 단계
- 저자는 제출 전 논문 인용을 자동 점검
- 심사자는 검증되지 않은 인용을 빠르게 식별
- 학회·저널 편집진은 AI Detector와 병행해 AI 작성 흔적 및 인용 오류를 동시에 탐지 가능
GPTZero의 검증 정확도
- Hallucination Check는 거짓 음성률이 매우 낮음(99% 탐지 정확도)
- 즉, 실제 환각 인용을 놓칠 확률이 극히 낮음
- 대신 보수적 탐지로 인해 거짓 양성률은 다소 높음
- GPTZero는 ICLR 2026, Deloitte 보고서 등에서도 동일한 방식으로 AI 인용 오류 수십 건을 찾아냄
학계와 출판 생태계에의 의미
- NeurIPS 2025 사례는 AI 도구를 활용한 논문 작성의 확산과 함께 인용 신뢰성 저하 문제를 드러냄
- GPTZero는 ICLR 조직위원회와 협력해 향후 제출 논문 자동 검증 시스템을 구축 중
- 이러한 시도는 논문 심사 효율성·투명성 제고와 AI 생성 콘텐츠의 검증 체계 강화로 이어질 전망임