[단독] 과기정통부, '벤치맥싱' 논란에 독파모 3차 평가 보완 검토…"벤치마크 비중 낮춰야"

과기정통부 "3차 평가 진출 기업 3개사와 협의" 업계 "40·35·25 고정 아냐"…벤치마크 실효성·검증 한계 지적 [아이뉴스24 서효빈 기자] 과학기술정보통신부가 '독자 AI 파운데이션 모델 프로젝트' 3차 단계 평가를 앞두고 기존 평가 체계의 보완 여부와 추가 평가 기준을 검토하고 나섰다. 2차 평가 과정에서 특정 벤치마크에 맞춰 모델을 학습하는 이른바 '벤치맥싱' 논란이 불거진 탓이다. 독파모 참여 기업들은 벤치마크의 필요성을 인정하면서도 비중을 낮춰야 한다는 입장이다.류제명 과학기술정보통신부 제2차관이 18일 정부서울청사에서 브리핑을 열고 독자 AI 파운데이션 모델 프로젝트 2차 단계평가 결과에 대해 발표하고 있다. [사진=안세준 기자]20일 과기정통부에 따르면, 1·2차 평가체계를 토대로 보완할 부분과 3차 개발 과정에서 추가할 평가 기준 등을 검토한 뒤 LG AI연구원, SK텔레콤, 업스테이지 등 3개 진출팀과 협의할 예정이다. 과기정통부 관계자는 "1차와 2차 평가에서 보완 사항이 있는지, 3차 평가와 관련해 어떠한 기준을 추가할지 등을 진출팀과 협의할 예정"이라고 말했다.독파모 참여 기업들은 3차 평가의 배점 구조가 조정될 필요성을 거론하고 있다. 2차 단계 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 진행됐다.3차 평가 진출업체 관계자는 "정부 입장에서는 꼭 40·35·25가 고정 비율이라고 얘기한 건 아니었다"며 "3차에서는 평가영역별 비중을 달리하는 여러 방안이 가능하다"고 말했다.다른 3차 평가 진출업체 관계자도 "상대적으로 작은 모델이라도 특정 벤치마크에 집중하면 점수를 끌어올릴 수 있다"며 벤치마크 비중을 낮춰야 한다는 점을 언급했다.2차 평가를 둘러싼 벤치맥싱 논란은 벤치마크 성능을 높이기 위한 후학습 데이터와 방법론을 제공하는 해외 업체가 독파모 참여사들을 접촉했다는 주장이 나오면서 불거졌다.AI 업계에 따르면 미국 AI 데이터 업체 애프터쿼리(AfterQuery)는 지난 7월 국내에서 열린 ICML 2026을 전후해 독파모 참여사들을 접촉했다. 애프터쿼리가 자사 데이터와 방법론을 활용할 경우 특정 벤치마크 점수를 높일 수 있다는 취지로 접근한 것이다.이에 과기정통부는 지난 18일 브리핑에서 벤치맥싱 의혹과 관련해 아티피셜 애널리시스 측 분석 결과 "체계적인 암기나 과적합 문제를 입증할 단서를 찾지 못했다"고 밝혔다.하지만 업계에서는 모델의 출력 결과를 분...