망고부스트, '망고 인퍼런스' 정식 출시··· DPU 넘어 AI 팩토리로 도전장

[IT동아 남시현 기자] "네오클라우드, 클라우드 서비스 제공자(CSP)의 사업 모델은 하드웨어를 운용하고, 이를 임대해주는 것에서 수익을 낸다. 매출은 나오지만 가격대 성능비를 확보하기 어렵고 GPU 가격이 오르면 서비스 비용도 오를 수밖에 없는 구조다. 망고부스트는 하드웨어 뿐만 아니라 네트워크, GPU, 소프트웨어, 시스템까지 모두 직접 만드는 시스템 비즈니스 기업이다. 네오클라우드 기업과는 분명히 구분해주시길 바란다" 김장우 망고부스트 대표가 망고부스트의 핵심 전략 및 로드맵을 발표 중이다 / 출처=IT동아 AI 인프라 기업 망고부스트가 지난 10월 12일, 그랜드 인터컨티넨탈 서울 파르나스에서 첫 기자간담회를 개최하고 망고부스트의 새로운 비즈니스 모델인 ‘망고 인퍼런스’를 소개했다. 김장우 대표는 처음부터 망고부스트가 네오클라우드 사업을 시작하는 것이 아닌 AI 팩토리 기업으로 본 궤도에 오른 것이라는 점을 분명히했다. 망고 인퍼런스는 망고부스트가 AMD 인스팅트 GPU를 기반으로 AI 추론 서비스를 제공해주는 전용 서비스며 망고부스트가 GPU와 스토리지, 네트워크, 소프트웨어 등 핵심 시스템을 직접 구성하는 것이 특징이다. 이번 발표를 시작으로 망고부스트의 사업은 DPU(데이터 프로세싱 유닛) 중심에서 AI 인프라 시장 전반으로 확장된다. IT동아는 망고부스트 간담회에 앞서 김장우 망고부스트 대표, 권동업 망고부스트 최고기술책임자와 별도로 만나 핵심인 ‘망고 인퍼런스’는 물론 AI 인프라 시장의 흐름과 시장성에 대한 시각, MLPerf를 비롯한 기술적 특징과 AMD와의 협업 관계 등을 놓고 대담을 나눠봤다. 망고부스트, 네오클라우드 아닌 ‘AI 팩토리’ 기업 망고부스트의 ‘망고 인퍼런스’ 콘솔 메뉴 / 출처=AMD 이날 기자간담회를 관통하는 핵심 주제는 망고부스트의 새로운 추론 서비스 사업인 ‘망고 인퍼런스’다. 망고 인퍼런스는 복잡한 인프라 구축 및 구성 없이 서버리스 형태로 AI 모델을 이용할 수 있도록 돕는 AI 서비스다. 망고부스트는 지난 7월부터 시범운영에 돌입했고 10월 12일부로 정식 서비스를 시작했으며, 서버리스와 전용 방식의 추론 서비스를 제공한다. 사용자는 별도 설정 없이 바로 모델을 지정해서 활용하거나, 전용 서비스 환경에서는 추론 사용량 확인 및 관리, 토큰 분석 등을 진행할 수 있다. 흥미로운 점은 이 과정이 엔비디아 GPU가 아닌 AMD 인스팅트 GPU로 운용된다는 것이다. ...