조강원 모레 대표, AMD MI355X 기반 '토큰 팩토리' 제시⋯"B200 대비 2배 처리량"

엔비디아·AMD GPU 함께 쓰는 이기종 분산 추론도 지원⋯처리량 1.7배 "AI 데이터센터 경쟁, GPU 보유량에서 토큰당 비용으로 이동" [아이뉴스24 최효경 기자] 모레는 AMD의 최신 그래픽처리장치(GPU) '인스팅트 MI355X'를 활용해 엔비디아 B200 대비 2배 이상의 AI 추론 처리량을 확보했다고 4일 밝혔다.AMD Advancing AI World Tour Seoul. [사진=모레]모레는 이날 서울 강남구 웨스틴 서울 파르나스에서 열린 'AMD 어드밴싱 AI 월드 투어 서울 2026'에서 AI 추론 비용을 낮추는 '토큰 팩토리' 소프트웨어 전략을 공개했다. 토큰 팩토리는 대규모 GPU 인프라를 이용해 생성형 AI의 텍스트 단위인 토큰을 생산하는 데이터센터 운영 모델이다.조강원 모레 대표는 AMD의 AI 제품관리 부문 부사장인 라민 로안과 키노트 무대에 올라 "AI 데이터센터 경쟁의 기준이 GPU 보유량에서 토큰당 비용으로 옮겨가고 있다"며 "GPU 성능을 실제 사업 가치로 연결하는 핵심은 소프트웨어"라고 말했다.모레의 '모AI 인퍼런스 프레임워크(MoAI Inference Framework)'는 신규 AI 모델 최적화, AMD GPU 세대별 최적화, 이기종 GPU 기반 분산 추론을 하나의 소프트웨어 체계로 제공한다.모레에 따르면 최신 오픈소스 모델을 AMD MI355X에서 추론한 결과, 일반적인 서비스 조건을 기준으로 엔비디아 B200 대비 2배 이상의 처리량을 냈다. 회사는 AMD의 개방형 소프트웨어 생태계인 로컴(ROCm)과 추론 엔진 브이LLM(vLLM)·에스글랭(SGLang) 등 오픈소스 프로젝트에도 참여하고 있다.조 대표는 패널 토론에서 "소버린 AI 경쟁력은 GPU를 확보하는 데서 끝나지 않는다"며 "새 모델을 즉시 서비스하고 대규모 클러스터를 안정적으로 운영할 수 있는 소프트웨어 역량이 함께 필요하다"고 말했다.모레는 이미 엔비디아 GPU로 서비스를 운영 중인 데이터센터 사업자가 기존 인프라를 교체하지 않고 AMD GPU를 추가해 하나의 클러스터로 운영하는 이기종 분산 추론도 지원한다.이 방식은 입력된 프롬프트를 처리하는 '프리필(Prefill)' 단계는 엔비디아 GPU가, 응답 토큰을 생성하는 '디코드(Decode)' 단계는 AMD GPU가 맡도록 나눈다. 모레는 해당 구성에서 동종 GPU만으로 구성한 클러스터보다 약 1.7배 높은 처리량을 기록했다.조 대표는 "대규모 AMD 클...