김정호 "GPU 위에 HBM 쌓는 역발상 설계…K반도체가 AI주도권 쥘 것"

김정호 KAIST 전기 및 전자공학부 교수는 ‘고대역폭메모리(HBM)의 아버지’로 불린다. 그의 연구실에서 탄생한 인터포저 등 HBM 요소 기술이 없었다면 인공지능(AI) 시대에 한국 반도체산업의 위상이 크게 흔들렸을 것이다. SK하이닉스와 삼성전자가 제조하는 HBM은 엔비디아 등 글로벌 빅테크가 제조하는 AI 칩에 필수로 들어가는 반도체다. 최근 대전 KAIST에서 만난 김 교수는 “앞으로 10~20년을 바꿀 미래 HBM 아키텍처(반도체 설계도)를 그리고 있다”고 말했다. AI 반도체산업의 패러다임을 메모리칩 분야 강자인 한국 주도로 새롭게 짜겠다는 도전적인 과제다.

▷미국과 중국의 기술패권 전쟁이 치열합니다.

“예전엔 자원과 식민지를 두고 싸웠다면 지금은 기술로 싸우는 제국주의 시대입니다. 한국에 반도체라는 전략 기술이 없다면 아마 우크라이나 같은 비참한 운명을 맞을지도 모르죠.”

▷기술이 안보까지 좌우하는 시대군요.

“한국전쟁의 도화선이 된 ‘애치슨 라인’이라고 생각하면 됩니다. 지금은 AI 반도체가 안보의 경계선이에요. 평화와 자유민주주의를 지키려면 AI 반도체가 있어야 해요. 한국 반도체산업엔 그나마 HBM만 남았다는 게 제 생각입니다.”

▷중국의 실력은 어느 정도입니까.

“딥시크 쇼크 직후 학생들과 딥시크 기술을 분석해 유튜브 영상 세 개로 나눠 올렸어요. 결론은 ‘기존에 있는 기술을 많이 조합해 수학적으로 최적화했다’입니다. 최신 그래픽처리장치(GPU)란 이빨이 없으니, 잇몸으로 열심히 했다는 뜻입니다. 엔비디아의 쿠다 같은 전용 소프트웨어(SW)를 만들지 못하니 어셈블리 랭귀지(기호 언어) 레벨로 더 내려가 일일이 작업을 한 것으로 보입니다. 대단한 열정과 실력입니다.”

▷한계도 있을 거 같습니다.

“비유하자면 미국은 페라리로 200㎞를 달리고 있어요. 딥시크를 포함해 중국은 소나타로 200㎞를 밟고 있는 것과 비슷합니다. 소나타로 페라리를 따라잡으려면 그만큼 힘이 드는 거죠. 어쩌면 엔진이 멎을 수도 있을 겁니다. 반면 한국은 아예 차(자체 AI 반도체)가 없는 상황입니다.”

▷HBM 아키텍처가 한국의 대안인가요.

“AI 칩에서 연산과 추론을 맡는 GPU 같은 시스템 반도체와 저장 기능이 있는 메모리 반도체의 경계가 서서히 무너지고 있습니다. SK하이닉스가 올해 양산 예정인 6세대 HBM(HBM4)은 베이스다이에 이미 일부 계산 기능이 들어가 있어요.”

▷통합 설계가 필요하다는 뜻이네요.

“맞습니다. 앞으로는 AI 슈퍼컴퓨터를 구현하는 수단으로서 HBM을 발전시키려 합니다. 한국이 10년, 20년 넘게 주도권을 가질 수 있게 그림을 그리고 있는 것이죠. HBM7 단계에 가면 GPU 위에 HBM이 올라갈 겁니다.”

현재 엔비디아, AMD 등이 설계하는 AI 칩은 GPU 아래에 HBM이 배치돼 있다. HBM7 등 미래 AI 칩은 GPU 위에 HBM을 3차원(3D) 구조로 쌓는 설계가 적용될 가능성이 높다. 이렇게 하면 GPU와 HBM 간 데이터 이동 속도가 빨라지고, 반도체 크기도 줄일 수 있을 것으로 예상된다.

▷GPU 설계는 어렵습니까.

“GPU 같은 시스템 반도체 설계는 이미 따라갈 수 없어요. HBM을 시스템 반도체로 정의하는 게 필요합니다. 인텔의 x86, Arm이 주도하는 칩 설계의 헤게모니를 대체할 새로운 패러다임입니다.”

▷좀 더 설명해 주세요.

“HBM과 GPU를 잇는 수많은 신호선을 어떻게 연결할 것인지, 다시 말해 전력 소모와 발열량을 최소화하는 것이 AI 칩 성능 향상의 관건입니다. 미래엔 중앙처리장치(CPU) 한 개에 GPU 4~8개, HBM 100개 정도가 슈퍼컴퓨터의 기본이 될 겁니다.”

▷연결이 더 중요하다는 말이군요.

“메모리와 시스템 반도체 각자의 장점을 조립하는 게 맞는 방향이에요. 패키징 기술이 그래서 중요한 겁니다. 운동장을 행진하면서 큰 북을 치면 발에 미세한 진동이 생기는데 메모리칩을 적층(스태킹)하고 패키징할 때도 이런 진동을 없애는 초미세 이퀄라이저 기술이 필요합니다.”

▷늘 수학의 중요성을 강조하셨습니다.

“AI 알고리즘은 깊이 들어가면 전부 수학으로 바뀝니다. 요즘엔 공대 학부 전공은 수학만 깊게 가르쳐도 되지 않을까 하는 생각이 들어요. 딥시크가 나온 것도 결국 수학의 힘이에요.”

▷우리 학생들의 실력은 어떤가요.

“학부에서 수학을 전공한 대학원 제자가 (AI 4대 천왕으로 불리는) 요슈아 벤지오 캐나다 몬트리올대 교수에게 배우러 갔어요. 박사후연구원인데 벤지오 교수가 그러더군요. 이제껏 만나 본 학생 중 가장 뛰어나다고요.”

▷양자컴퓨터 열기가 뜨겁습니다.

“과학적으로는 아주 재밌죠. 하지만 상용화엔 족히 20~30년은 걸릴 겁니다.”

▷빅테크들은 5~10년 내 상용화를 주장합니다.

“한때 자성을 이용해 데이터를 저장하는 M램(자성 램)이 큰 기대를 모았습니다. 하지만 아카데미 차원에서만 흥미로운 대상일 뿐이었어요. AI 전쟁에선 검증된 기술을 조합해 최적 성능을 내는 것이 훨씬 중요하고, 이것이 혁신으로 이어질 겁니다. 조합의 도구는 수학과 소프트웨어 그리고 패키징입니다.”

▷국방 AI도 절실한데요.

“최근 경기 포천시 전투기 오폭 사고는 인간의 실수지만 전자 회로상의 문제였을 수도 있습니다. 자동차도 마찬가지로 신호가 잘못 가면 급발진 사고가 날 수 있는 것처럼요. 앞으로 HBM의 요소 기술이 국방 무기 개발에도 응용될 겁니다.”

▷이번 학기 어떤 강의를 하십니까.

“강의명은 EMI(전자파 간섭)/EMC(전자기 적합성)인데 내용은 HBM 아키텍처 설계 기법입니다. ‘이쪽에선 GPU가 중요하고 저기선 HBM이 중요한데 이를 결정하는 것은 알고리즘이다’ 그런 내용을 강의합니다. 마지막엔 인터포저와 수직관통전극(TSV)을 논하는데 학생들의 몰입도가 아주 높아요.”

▷열정이 대단한 것 같습니다.

“최신 기술들을 강의하려니 학기마다 수업 교재를 절반은 새로 씁니다. 그러려면 공부를 굉장히 많이 해야 합니다. 지난 학기는 생성형 AI 수업을 하면서 GPT-4o 등 최신 모델의 수학적 원리를 강의했어요. 출퇴근 길에도 기술에 대한 생각이 폭발하는데 언제나 즐거운 지적 경험입니다.”

▷삼성과의 협업도 오래 하셨죠.

“2018년부터 KAIST-삼성전자 산학협력센터장을 맡고 있습니다. 삼성전자가 100여 명 교수들에게 마음껏 연구하라고 인당 수억원씩 연구비를 지원하고 있지요. 삼성이 그동안 대학에 지원한 자금 중 가장 많을 겁니다.”

▷차기 KAIST 총장직에 도전했는데요.

“HBM 연구에 매진하는 것이 국익에 더 도움이 될 거라고 말씀하는 분들도 있습니다. 지금은 한 명의 교수로서 매년 수십 명의 학생을 이끌고 있지만, 총장이 되면 HBM을 발전시키면서 기업들과 나눈 도전과 혁신의 경험을 수백 배로 키워 KAIST에 퍼뜨릴 수 있지 않을까요.”

제18대 KAIST 총장은 이달 후보가 세 배수(3명)로 좁혀져 5명으로 구성된 총장선임위원회를 통해 이르면 다음달 선임될 예정이다. 과학기술정보통신부의 검토를 거쳐 총장선임위가 최종 후보를 추천하면 대통령이 지명한다. 현재로선 최상목 대통령 권한대행이 지명권자다.

대전=이해성 기자 ihs@hankyung.com