노타, 퓨리오사AI 데이터센터용 NPU서 LG K-엑사원 최적화

[노타 제공]

[아이티비즈 김문구 기자] 노타가 퓨리오사AI의 데이터센터용 NPU에서 LG AI연구원의 국가대표 AI 모델 K-엑사원(EXAONE) 236B 최적화에 성공했다.

노타는 이번 프로젝트에서 K-엑사원을 퓨리오사AI의 데이터센터용 NPU 환경에 맞게 최적화했다. 모델 전체를 다시 조정하는 방식이 아니라, 성능 저하가 발생할 수 있는 일부 구간을 정밀하게 분석하고 필요한 부분에만 최적화를 적용해 성능 손실을 최소화했다. 이를 통해 대형 AI 모델을 국산 NPU 환경에서 효율적으로 구동하면서도 주요 성능 지표에서 기준 모델 수준의 성능을 유지했다.

성능 평가에서도 의미 있는 결과가 확인됐다. 노타는 K-엑사원의 모델 크기를 약 71% 줄여 대형 AI 모델 구동에 필요한 메모리 부담을 낮추면서도, 과학 추론, 지시 이해, 수학 문제 해결 등 주요 평가 항목에서 원본 모델과 유사한 수준의 정확도를 유지했다.

자체 평가 환경 기준으로 노타가 최적화한 모델은 과학 추론 항목(GPQA) 79.80점, 지시 이해 항목(IFBench) 68.98점, 수학 문제 해결 항목(AIME25) 88.57점을 기록했다. 모델 크기를 줄이기 전 원본 모델의 성능은 각각 79.1점, 67.3점, 92.8점으로, 최적화 이후에도 3개 주요 평가 항목 단순 평균 기준 원본 대비 약 99.2%의 정확도를 유지했다.

이번 성과는 대형 AI 모델을 국산 NPU에서 단순히 실행한 것을 넘어, 실제 서비스에 필요한 성능과 안정성을 유지할 수 있음을 확인했다. 특히 퓨리오사AI의 데이터센터용 NPU, LG AI연구원의 고도화된 AI 기술력, 노타의 AI 모델 최적화 기술이 결합해 국내 AI 생태계 안에서 고성능 LLM 운영 가능성을 보여준 사례로 평가된다.

노타 채명수 대표는 “이번 성과는 퓨리오사AI의 데이터센터용 NPU, LG의 국가대표 AI 모델 K-엑사원, 노타의 최적화 기술이 결합해 대형 AI 모델의 실제 운영 가능성을 확인한 사례”라고 말했다.