KT, 국산 NPU∙LLM 통합한 기업용 소버린 AI 어플라이언스 출시

[사진=KT 제공]

[아이티비즈 김건우 기자] KT가 국산 AI 반도체와 국산 언어모델(LLM)을 하나의 서버에 통합한 기업용 소버린 AI 어플라이언스를 선보였다.

KT는 국내 AI 반도체 기업 리벨리온의 신경망처리장치(NPU) '아톰맥스(ATOM-MAX)'에 독자 개발 LLM '믿음 K 2.5 프로(Pro)', 운영 API 플랫폼까지 탑재한 'KT NPU LLM 스테이션(Station)'을 출시했다고 19일 밝혔다.

KT NPU LLM 스테이션의 가장 큰 특징은 강력한 보안이다. 제품은 고객사 내부에 설치되며 모든 데이터와 AI 연산이 사내에서만 처리된다. 망분리 등 관련 규제와 강력한 보안 필요성으로 해외 생성형 AI를 도입하지 못했던 공공, 국방, 제약, 제조, 금융 등 규제 산업의 AX 전환에 촉매제가 될 것으로 보인다.

도입 부담도 낮췄다. 서버, AI 모델, 플랫폼이 통합된 완제품형 장치여서 별도 구축 과정 없이 설치 당일부터 사내 문서 기반 질의응답(RAG) 등 AI 기능을 바로 사용할 수 있다. 추론 특화 NPU를 채택해 동급 GPU 서버 대비 전력 효율이 높고, 업계 표준 API를 제공해 기업이 기존에 쓰던 AI 서비스의 접속 정보만 바꾸면 코드 수정 없이 호환해 사용할 수 있다.

KT는 향후 회의록 작성, 코딩 지원, 업무 자동화 에이전트 'K-Claw(가칭)' 등 자체 개발한 AI 에이전트를 순차 탑재하고, 에이전트 전문 개발사와 협력해 고객 맞춤형 구축 사업으로 확장할 계획이다.

또한 'KT NPU LLM 스테이션'의 활용 영역을 피지컬 AI를 위한 엣지 데이터센터(Edge DC)로 확대해 저전력·저지연 AI 인프라 구현에도 나설 예정이다.

KT AX사업본부장 이진형 상무는 "KT NPU LLM 스테이션은 AX 풀스택 역량과 국산 반도체를 결합해 소버린 AI를 실제 산업 현장에서 즉시 사용할 수 있도록 만든 것"이라며 "데이터 주권을 지키면서 AI 전환을 시작하려는 기업과 기관에 가장 현실적인 선택지가 될 것"이라고 말했다.