SK하이닉스, '계산하는 HBM' 꺼냈다…AI 추론 성능 최대 5.15배

HBM4 베이스다이에 대만 TSMC 로직공정 적용 CXL-PNM·공유 메모리로 KV캐시 병목 줄여 [아이뉴스24 권서아 기자] SK하이닉스가 고대역폭 메모리(HBM)의 베이스다이(HBM 맨 아래층)에 연산 기능을 넣는 '맞춤형(커스텀) HBM'을 차세대 인공지능(AI) 메모리 기술로 제시했다. 데이터를 그래픽처리장치(GPU)까지 옮겨 처리하는 과정을 줄여 대규모언어모델(LLM)의 추론 성능을 최대 5.15배 높일 수 있다는 설명이다.2일 대만 디지타임스·테크뉴스 등에 따르면 김호식 SK하이닉스 메모리시스템리서치 담당(부사장)은 전날 '세미콘 타이완 2026'에서 커스텀 HBM과 CXL(컴퓨트익스프레스링크) 기반 PNM(근접 메모리 컴퓨팅), D램 연산, 공유 메모리 등을 소개했다.SK하이닉스의 HBM 확대 모형. [사진=권서아 기자]AI 추론 늘자 '데이터 이동'이 병목SK하이닉스는 AI의 중심이 '학습'에서 '추론'으로 옮겨가면서 급증하는 메모리 이동에 주목했다. AI 에이전트는 한 번 답을 내는 데 그치지 않고 여러 단계를 반복해 추론한다. 이 과정에서 앞선 대화와 작업 내용을 저장하는 'KV캐시'도 계속 쌓인다.SK하이닉스는 스스로 판단하고 여러 작업을 수행하는 '멀티 에이전트 환경'에서 생성되는 토큰(AI가 문장을 처리하는 최소 단위)이 기존 워크로드(작업량)보다 최대 15배 늘어날 수 있다고 봤다.32K 컨텍스트(약 3만2000토큰의 문맥을 한 번에 처리하는 환경)를 사용하는 에이전트 1000개가 동시에 작동하면 KV캐시만 약 10.5테라바이트(TB)가 필요하다. 엔비디아의 '베라 루빈 NVL72 시스템' 전체 HBM 용량의 약 절반에 해당한다.문제는 이렇게 커진 데이터를 GPU와 메모리 사이에서 계속 옮겨야 한다는 점이다. 김 부사장은 데이터를 이동시키는 데 쓰이는 에너지가 실제 연산보다 수천~수만 배 많을 수 있다고 설명했다.SK하이닉스가 커스텀 HBM을 제시한 이유도 여기에 있다. HBM 맨 아래층인 베이스다이에 일부 연산 기능을 넣어 데이터를 매번 GPU까지 보내지 않고 메모리 가까이에서 처리하는 방식이다. 이 구조를 적용하면 LLM 추론 성능을 최대 5.15배 높일 수 있다는 설명이다.현재 세대 제품인 HBM4(6세대)부터는 이런 기능을 넣기도 쉬워졌다. SK하이닉스는 HBM3E(5세대)까지 베이스다이를 자체 기술로 만들었지만 HBM4부터는 세계 1위 반도체 위탁생산(파운드리) 기업인 대만 T...