SK하이닉스, 'HBF' 활용한 AI 칩 콘셉트 공개…"전성비 2.69배 개선" [강해령의 테크앤더시티]

SK하이닉스가 고대역폭플래시(HBF)를 활용한 새로운 구조의 반도체 콘셉트를 제안했다. HBF는 D램을 여러 개 쌓아 올린 고대역폭메모리(HBM)처럼, 또다른 메모리 종류인 낸드플래시를 쌓아올린 AI용 반도체로 주목받고 있다. SK하이닉스의 주력이 된 HBM을 이어 회사의 새로운 매출원이 될 수 있을지 업계의 관심이 쏠린다.

11일 업계에 따르면 최근 SK하이닉스는 세계적 반도체 학회인 전기전자공학자협회(IEEE) 논문을 통해 'H3' 라는 새로운 반도체 콘셉트를 제시했다. H3는 HBM과 HBF를 활용한 하이브리드(Hybrid) 반도체 구조의 줄임말이다.

H3 구조에서 눈에 띄는 것은 HBF다. HBF는 여러 개의 낸드플래시를 쌓아올리고, 낸드플래시들을 관통하는 수직 정보 이동통로(TSV)를 뚫어서 데이터 이동 속도를 극대화한 칩이다.

HBF의 저장 용량은 D램을 여러 개 겹쳐 만든 HBM보다 상당히 크다. 마치 HBM이 GPU가 연산을 수행하기 위해 바로 앞에 펼쳐두는 책상이라면, HBF는 그 옆에 방대한 자료를 보관해두는 수납장에 가깝다.

엔비디아가 올 하반기에 출시할 루빈 등 최신 AI 반도체에는 GPU 옆에 HBM만 놓여 있다. 하지만 H3 구조에선 연산을 담당하는 GPU 옆에 HBM·HBF를 함께 배치한 것이 특징이다. SK하이닉스는 이 구조의 실현 가능성을 검증하기 위해 시뮬레이션 실험을 진행했다.

회사는 이 실험에서 엔비디아 최신 GPU인 블랙웰(B200) 칩 옆에 8개의 5세대 HBM(HBM3E)과 8개의 HBF를 놓았다. 이렇게 했더니 전력 대비 연산 성능이 HBM만 있을 때보다 2.69배 개선될 수 있다는 실험 결과를 얻었다.

특히 H3는 최근 AI 업계에서 주목받는 '추론' 영역에서 상당히 유리하다. 추론은 AI가 스스로 생각하고 판단하는 것이다. 추론의 핵심은 KV 캐시다. AI 서비스가 사용자와 대화할 때 대화의 흐름과 '맥락'을 찾기 위해 잠깐씩 저장해놓는 데이터다. 하지만 AI 성능이 고도화하면서 KV캐시의 용량이 HBM과 GPU가 감당하기 힘들만큼 커지고 있어, 연산 능력을 저하시킬 수 있다는 게 문제다.

그래서 거대한 수납장인 HBF를 놓아서 여기에 KV캐시를 저장하면 GPU와 HBM는 KV캐시 저장에 대한 부담을 덜고 자신들의 장기인 고속 연산과 새로운 데이터 만들기에 집중할 수 있다.

SK하이닉스는 1000만 토큰에 달하는 방대한 KV 캐시를 HBF가 대신 저장했을 경우도 실험했는데, GPU와 HBM의 더 많은 질의를 동시에 처리할 수 있는 능력(배치 사이즈)이 최대 18.8배 늘어났다고 밝혔다. 기존 HBM만 배치했을 때에는 32개의 GPU가 필요했던 작업을 단 2개의 GPU로도 수행할 수 있어 전력 효율이 크게 개선된 셈이다.

회사는 이번 논문으로 HBF가 잠재력을 가지고 있음을 강조했다. 현재 SK하이닉스 최대 수익 제품인 HBM에 이어 새로운 AI 메모리로 떠오를 수 있을지 업계는 주목하고 있다.

다만 HBF가 현실로 구현되려면 다양한 문제를 해결해야 하는 것으로 알려졌다. 낸드플래시는 저장 용량은 크지만 새로운 데이터를 기록하거나 형태를 바꾸는 쓰기(write) 성능이 느리다는 단점이 있다.

하이브리드 구조 데이터를 읽는(read) 곳에만 HBF를 배치한다고 하더라도 KV 캐시는 갈수록 쓰기 성능이 중요하지기 때문에 이 점을 극복할 수 있는 설계 기술이 필요하다. HBF 가장 아래에 있는 베이스 다이의 컨트롤러 성능이 HBM보다 훨씬 더 고도화해야 한다.

한편 KV 캐시의 용량이 늘어나고 중요성도 커지면서 낸드플래시의 역할도 커지고 있다. 젠슨 황 엔비디아 CEO는 지난 1월 미국에서 열렸던 CES 2026 연설에서 “베라 루빈에 새로운 메모리 솔루션 ‘ICMS’를 적용할 예정”이라고 발표했다. 베라 루빈 풀 세트엔 9600테라바이트(TB) 용량의 낸드 기반 저장장치(SSD)가 들어간다. 기존 제품 대비 수요가 16배 늘어나는 셈이다.

강해령 기자 hr.kang@hankyung.com