'독파모' 4강 승부처는 '효율'…모델별 전략 뜯어보니

과학기술정보통신부와 정보통신산업진흥원(NIPA)가 서울 삼성동 코엑스에서 '독자 AI 파운데이션 모델' 프로젝트 1차 발표회에서 배경훈 부총리 겸 과학기술부 장관이 환영사를 하고 있다. 박지호기자 jihopress@etnews.com 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트 2차 평가 결과가 조만간 발표된다. 2차 평가에서는 모델 규모뿐 아니라 실제 추론 성능과 효율성 등이 주요 경쟁력으로 작용할 전망이다. 17일 전자신문이 독파모 2차 평가에 참여하는 LG AI연구원·업스테이지·SK텔레콤·모티프테크놀로지스 4팀이 허깅페이스에 공개한 모델 기술자료를 분석한 결과 각 모델은 서로 다른 파라미터 규모와 학습·설계 전략을 택한 것으로 나타났다. 독파모 1차 평가에서 1위를 차지했던 LG AI연구원은 기존 모델을 활용해 규모를 빠르게 확대하는 '업사이클링' 방식을 택했다. 기존 모델의 학습 결과와 가중치를 활용하면서 처음부터 새로운 초대형 모델을 만드는 데 필요한 시간과 비용을 줄이는 방식이다. LG AI연구원 측은 “K-엑사원 2.0은 업사이클링을 통해 이전 모델보다 3배 이상 규모를 확장했으며, 지속적인 사전 학습, 난이도 중심의 중간 학습, 사후 학습 과정을 거쳤다”면서 “특히 장문 문맥 검색과 안전성 측면에서 이전 모델 대비 상당한 성능 향상을 달성했다”고 설명했다. SK텔레콤의 'A.X K2'는 한국어 특화 소버린 AI를 내세웠다. 총 파라미터 규모는 688B에 달하지만 실제 추론 때 활성화되는 파라미터는 33B 수준이다. 전체 모델의 지식 규모는 유지하면서 실제 연산량을 줄이는 혼합전문가(MoE) 구조를 통해 대형 모델의 성능과 추론 효율을 함께 확보했다. SK텔레콤은 “한국어와 한국 문화에 대한 깊은 이해를 바탕으로 최첨단 모델을 구축하는 것을 목표로 한다”면서 “씽크 퓨전 학습 레시피를 통해 복잡한 문제 해결을 위한 사고 모드와 간결하고 지연 시간이 짧은 응답을 위한 비사고 모드를 지원해 품질과 비용 간의 균형을 선택할 수 있다”고 말했다. 업스테이지 솔라 오픈2는 전작 가중치의 일부만 계승하고 나머지는 무작위로 새로 초기화하는 전략으로 250B 모델을 만들었다. 업스테이지가 공개한 자료에 따르면 전작 모델에서 계승한 가중치는 약 2.3%에 그쳤다. 업스테이지는 “솔라 오픈 2는 사무 생산성, 문서 작업, 코딩과 같은 에이전트 기반 사용 사례에 최적화되어 있다”면서 “선형 어텐션을 적용한 ...