오케스트로·퓨리오사AI, NPU AI 인프라 상용화 '맞손'… GPU 편중·운용 한계 넘는다

백준호 퓨리오사에이아이 대표(왼쪽), 김민준 오케스트로 그룹 의장 오케스트로 그룹이 AI 반도체 기업 퓨리오사AI와 손잡고 국산 신경망처리장치(NPU) 기반 인공지능(AI) 인프라 상용화와 생태계 확장에 본격 나선다. AI 인프라 시장은 엔비디아 그래픽처리장치(GPU)와 쿠다(CUDA) 생태계 중심으로 고착화돼 있어, 우수한 전력 효율과 성능을 가진 NPU를 도입하려 해도 소프트웨어 호환성이나 운영 편의성 부족으로 현장의 진입 장벽이 높았다. 양사는 이번 협력을 통해 현업에서 NPU 운용 시 겪던 기술적 한계를 허물고, 실제 서비스 환경에 최적화한 국산 NPU 기반 AI 인프라의 길을 연다는 목표다. 오케스트로 그룹과 퓨리오사AI는 지난 18일 서울 강남구 퓨리오사AI 본사에서 'NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력'을 위한 업무협약(MOU)을 체결했다고 21일 밝혔다. 양사는 올해 초부터 퓨리오사AI의 2세대 NPU '레니게이드(RNGD)'와 오케스트로 AI 인프라 소프트웨어 간 기술 협력을 이어왔다. 퓨리오사AI NXT RNGD 서버를 오케스트로 AI 인프라 환경에 구축해 호환성과 주요 기능을 검증했고, RNGD 기반 거대언어모델(LLM)을 실제 서비스 환경에서 안정적으로 배포·서빙·운영하기 위한 기술을 단계적으로 구현했다. 그 성과로 오케스트로는 기존 GPU 중심으로 제공해 온 AI 추론 운영 플랫폼 '콘체르토 A.I.(CONCERTO A.I.)'의 지원 범위를 퓨리오사AI RNGD까지 확장했다. 콘체르토 A.I.는 AI 모델의 배포와 서빙, 컴퓨팅 자원 관리, 서비스 모니터링 등을 통합 지원하는 플랫폼이다. 고객이 NPU 기반 LLM 서빙 환경을 직접 구축해야 하는 부담을 대폭 줄였다. 특히 단순한 NPU 모델 구동을 넘어, 실제 서비스 운영에 필수적인 지능형 라우팅과 토폴로지 기반 스케줄링 기능도 지원한다. 요청 특성과 가속기 자원을 고려해 최적의 추론 경로를 구성하며, GPU와 NPU 등 이종 AI 가속기를 워크로드 특성에 맞춰 유연하게 활용할 수 있도록 돕는다. 이번 MOU는 양사가 쌓아온 기술 검증 성과를 실제 고객 사업으로 연결하기 위한 변곡점이다. 양사는 다양한 AI 모델과 워크로드를 대상으로 RNGD 기반 인프라의 성능과 안정성을 지속 검증하고, 고객 대상 벤치마크테스트(BMT)와 실증을 거쳐 구축·운영 모델을 구체화할 계획이다. 공공·금융·기업 고객의 프라이빗 AI 및 소버린...