리벨리온 NPU로 SKT 초거대 인공지능 모델 구동 성공

5000억개 이상 파라미터 초거대 모델 안정적 실행 [아이뉴스24 황세웅 기자] 리벨리온이 자체 신경망처리장치(NPU)를 활용해 SK텔레콤의 초거대 인공지능(AI) 모델 '에이닷엑스 케이원(A.X K1)'을 구동하는 데 성공했다.리벨리온은 5000억개 이상의 파라미터를 갖춘 SK텔레콤의 초거대 언어모델 A.X K1을 자사의 고성능 AI 반도체 '리벨서버'로 안정적으로 실행했다고 23일 밝혔다.A.X K1 데모 영상 스크린샷. [사진=리벨리온]A.X K1은 필요한 일부 전문가 모델만 선택적으로 연산하는 전문가 혼합(MoE) 구조를 적용해 대규모 모델에서도 연산 효율을 높인 것이 특징이다.리벨리온은 A.X K1의 구조에 맞춰 전용 소프트웨어와 분산 처리 기술을 최적화했다. 이를 통해 단일 서버에서도 여러 사용자의 요청을 동시에 처리할 수 있도록 했다.회사는 글로벌 고성능 그래픽처리장치(GPU) 서버에 준하는 처리 역량을 확보하면서 데이터센터 구축과 운영 부담을 줄였다고 설명했다.실제 서비스 환경을 가정한 지도형 에이전트 데모도 선보였다. 여러 사용자가 동시에 '주말에 이용할 수 있는 약국' 등 서로 다른 질문을 입력하면 A.X K1이 이를 실시간으로 처리해 지도 위에 결과를 표시하는 방식이다.박성현 리벨리온 대표는 "이번 실증은 국산 초거대 모델과 국산 NPU의 결합만으로 대규모 AI 서비스를 운영할 수 있음을 보여준 소버린 AI의 실질적 사례"라며 "앞으로도 SK텔레콤과 함께 누구나 일상에서 AI를 활용할 수 있는 한국형 AI 인프라를 만들어가겠다"고 말했다./황세웅 기자([email protected]) 포토뉴스