독파모 2차 평가, SK텔레콤·LG AI연구원 2개 항목씩 1위

지난해 12월 서울 삼성동 코엑스에서 '독자 AI 파운데이션 모델' 프로젝트 1차 발표회에서 배경훈 부총리 겸 과학기술부 장관이 환영사를 하고 있다. 전자신문DB 국가대표 인공지능(AI) 모델을 가리는 '독자 AI 파운데이션 모델'(독파모) 2차 단계평가 결과, LG AI연구원과 SK텔레콤이 각 2개 평가항목에서 1위에 오른 것으로 나타났다. 3차 단계평가 진출에 실패한 모티프테크놀로지스는 1개 평가항목에서 1위를 기록했다. 과학기술정보통신부는 20일 독파모 2차 단계평가 벤치마크·전문가·사용자 등 5개 평가 항목별 1위 기업과 점수, 평균 점수를 공개했다. 최근 2차 평가 관련 투명성 문제가 지속 제기되는 상황이 AI 생태계 발전에 도움되지 않는다고 판단해 1차 단계평가 발표 시와 동일한 수준에서 평가 정보를 제공한 것이다. 앞서 글로벌 벤치마크 평가에서 한국 모델 중 유일하게 40점대를 기록한 모티프가 2차 단계평가에서 탈락하자 일각에서 평가결과의 공정성과 공신력에 대한 문제제기가 지속됐다. 40점 만점의 벤치마크 평가는 아티피셜 애널리시스(AA)의 AI 인덱스 평가와 한국지능정보사회진흥원(NIA) 한국 특화 벤치마크로 각각 진행됐다. 2차 단계평가에 처음 도입된 AA의 AI 인덱스(AAII) 평가에서는 모티프가 1위를 차지했다. AAII 테스트 결과를 25점 만점으로 스케일링해 최종 점수를 도출, 11.9점을 받았다. 4개팀 평균 점수는 9.48점이다. 수학·지식·장문이해·안전성·신뢰성·한국어·지시이행 등 7개 항목에 대한 NIA 벤치마크에서는 SK텔레콤(13.4점)이 1위였다. NIA에서 평가 결과를 도출하고 15점 만점 스케일링해 최종 점수에 반영, 4팀 평균 점수는 13.05점으로 기업 간 편차가 가장 작았다. 35점 배점의 전문가 평가는 산업계 3명, 학계 5명, 연구계 2명 등 10명의 외부 전문가로 평가위원회를 구성해 진행했다. 닷새 간 서면평가와 Q&A를 병행한 결과, 1위는 LG AI연구원(29.5점)이었다. 평균 점수는 28.75점이었다. 전문가 평가위원회는 모티프와 기존 정예팀 간 공정 경쟁 지원을 위해 4개 컨소시엄 동의를 받아 모티프팀의 국내 AI생태계 파급효과 평가는 새로운 독자 AI 모델 기반이 아닌 기존 AI 모델의 현장확산 실적과계획까지 폭넓게 종합 고려했다. 공정성을 위해 위원별 평가점수 최고·최저점은 제외했다. 또 15점 만점 AI 전문 사용자 평가는 AI 스타트업 ...