스티븐스 레드햇 AI CTO “RHEL·오픈시프트 잇는 세 번째 혁신은 AI 추론 플랫폼”

레드햇이 인공지능(AI) 추론 단계 혁신을 위한 개방형 플랫폼 개발에 나서면서 새로운 혁신을 만든다.

최근 방한한 브라이언 스티븐스 레드햇 AI 최고기술책임자(CTO)는 28일 전자신문과 인터뷰에서 “레드햇 엔터프라이즈 리눅스(RHEL)와 오픈시프트를 만든 레드햇이 AI 부문에서 세 번째 혁신의 장을 열 것”이라며 이 같이 강조했다.

스티븐스 AI CTO는 2001년 레드햇에 합류, 2005년부터 9년간 CTO를 맡아 RHEL과 오픈시프트 등 주요 제품 출시를 주도한 인물이다. 그러나 2014년 돌연 사임 후 구글 클라우드 CTO, AI 스타트업 뉴럴매직의 최고경영자(CEO) 등을 역임했다.

그가 11년만에 레드햇에 돌아온 것은 지난 1월 레드햇이 AI 스타트업 '뉴럴매직'을 인수하면서다.

AI CTO라는 새 직함을 달고, AI 제품의 실행(추론) 단계를 혁신하기 위한 개방형 플랫폼 개발을 이끈다.

스티븐스 AI CTO는 “AI 시장이 AI 모델과 그래픽처리장치(GPU) 확보에 집중되고 있지만, AI 제품을 실제로 서비스하는 단계에서 효율성을 확보하지 못 하는 문제를 많은 기업이 현재 겪고 있다”며 “이를 위해 누구나 AI 제품을 원활하게 서비스할 수 있도록 하는 개방형 플랫폼을 만들었다”고 설명했다.

그는 네 가지 축을 기반으로 개방형 플랫폼을 설계했다.

우선 AI 추론 최적화 오픈소스 커뮤니티 'vLLM' 기반 기술을 적극 활용한다. vLLM은 페이지드 어텐션, 연속 배칭 등 핵심 기술을 바탕으로 그래픽처리장치(GPU) 메모리 사용을 최적화한다.

오픈소스 프로젝트 'llm-d'는 vLLM의 성능을 극대화한다. AI 인식 라우팅과 동적 오토스케일링을 구현, 대규모 추론을 여러 컴퓨팅 자원에 분산 처리해 리소스 사용을 최적화한다. 구글 클라우드, 엔비디아 등 주요 AI 기업들이 프로젝트에 참여하며 생태계가 커지고 있다.

이 외에도 LLM 추론 작업 분산·오케스트레이션을 위한 컨테이너 관리 플랫폼 '쿠버네티스', 프런티어급 LLM 모델의 추론 서빙 알고리즘을 결집한 '최적화된 모델'을 기반으로 한다.

스티븐스 AI CTO는 “AI 추론 지원은 하나의 기업이 할 수 없기 때문에 AI 가속기 혁신, 데이터 캐싱 고도화 등 다양한 기술을 가진 기업과 함께하는 AI 추론 지원 생태계를 만들고 있다”며 “한국 기업 중에는 AI 반도체 기업 리벨리온과 협업하기도 했다”고 말했다.

레드햇은 개방형 플랫폼을 바탕으로 내년 AI 추론 지원을 본격화할 계획이다.

스티븐스 AI CTO는 “이번 방한 일정 동안 BC카드, 메가존클라우드 등 주요 기업이 레드햇 솔루션을 활용하는 모습을 보면서 레드햇의 역할은 고객 혁신을 이끄는 것이라는 것을 다시금 느꼈다”며 “고객들이 AI 기술 활용 역량을 키울 수 있도록 적극 지원할 것”이라고 강조했다.

현대인 기자 modernman@etnews.com