달아오른 AI칩 경쟁 … GPU·TPU 비교해보니

“우리의 시장 영향력을 텐서프로세싱유닛(TPU)이나 주문형 반도체(ASIC)가 따라올 수 없다(젠슨 황 엔비디아 CEO).”

“인공지능(AI) 에이전트와 애플리케이션은 AI 모델에 기반해 구축돼야 하고, 칩은 AI 모델을 위해 설계돼야 한다(토마스 쿠리안 구글클라우드 CEO).”

엔비디아와 구글의 AI칩 경쟁이 격화하고 있다. 엔비디아가 지난달 추론용 반도체 ‘그록3 LPU(언어처리장치)’를 내놓은지 한달 만에 구글은 추론·학습용 칩을 출시하며 반격에 나섰다. 다만 겉으로 보이는 경쟁 구도와 달리 두 회사가 겨냥하는 시장과 칩의 용도가 다르다는 분석도 나온다.

◇엔비디아, CUDA로 최적화

25일(현지시간) 테크업계에서는 구글의 신형 AI칩 TPU8t·TPU8i의 핵심 무기를 ‘가격 대비 성능’으로 보고 있다. 추론 전용으로 설계된 TPU8i는 직접 세대보다 가성비가 80% 개선됐다. 아마존웹서비스(AWS)도 지난해 말 자체 칩 ‘트레이니엄3’를 내놓으며 “동급 GPU를 쓰는 시스템보다 AI 모델 훈련·운영 비용을 50% 절감할 수 있다”고 엔비디아를 공격했다.

황 CEO는 이런 분위기를 의식한 듯 최근 한 팟캐스트에 나와 “엔비디아 제품은 세계에서 총소유비용(TCO) 대비 최고 성능을 자랑한다”고 반박했다. 그러면서 “만약 구글과 아마존이 자신 있다면, 인퍼런스맥스(InferenceMAX)에서 입증해보라”고 도발했다. 인퍼런스맥스는 반도체 전문매체 세미애널리시스가 개설한 AI칩 추론 성능 비교 사이트다. 현재 성능 지표를 공개한 곳은 엔비디아와 AMD뿐이다.

자신감의 근원은 GPU 최적화 소프트웨어 ‘쿠다(CUDA)’다. GPU는 단순 연산을 하는 수만개의 연산 장치로 구성되는데, 이들의 역할을 지정하는 ‘감독관’이 CUDA다. 황 CEO는 “(엔비디아 최신 GPU인) 블랙웰의 트랜지스터 성능은 75% 개선됐지만, 효율성은 전작 대비 50배 늘어났다”며 “이것이 쿠다가 효과적이고 많은 사랑을 받는 이유”라고 강조했다. 구글과 AWS의 주장이 하드웨어 성능 지표에만 기반한 ‘착시’라는 얘기다.

◇생태계 안에서 최적화한 구글

구글의 강점은 수직 계열화다. 크롬·지메일같은 애플리케이션부터 AI 모델(제미나이), 반도체(TPU), 클라우드(구글클라우드)를 한 회사가 통합 설계해 최적의 효율을 끌어낸다. 마크 로마이어 구글 AI인프라 부사장은 지난 23일 간담회에서 “TPU8t를 설계할 때 구글 딥마인드 팀도 참여했다”고 밝혔다. 구글은 지난 2월 실적 발표에서 TPU로 하드웨어 효율을 극대화해 제미나이 서비스 단위 비용을 78% 절감했다고 밝혔다.

하지만 역설적이게도 이는 TPU의 확장성은 떨어진다는 뜻이다. 자사 클라우드에 맞게 설계된 만큼 네트워크·냉각 시스템은 타사 시스템과 호환되기 어렵다. 델·HP 등 서버에 엔비디아 GPU를 꽂을 수 있는 것과 대조적이다.

범용성이 높은 GPU와 AI 연산에 특화한 TPU의 용처가 처음부터 다르다는 평가도 나온다. TPU의 핵심은 AI 연산에 필요한 행렬 곱셈에 특화된 ‘시스톨릭 배열(systolic array)’ 구조다. 데이터가 저장 장치로 돌아가지 않고 연산 장치 사이를 움직이는 구조로, 불이 났을 때 각자가 우물에서 물을 퍼 올리는 대신 물이 담긴 양동이를 이어 나르는 방식이다.

황 CEO는 이를 두고 “AI 칩의 용도에 행렬 곱셈만 있는 것은 아니다”고 지적했다. 암호화폐, 양자 연산, 로보틱스, 게이밍 등 다양한 작업을 수행하기에는 GPU가 낫다는 주장이다.

AI 칩 부문에선 시장 선점을 위해 경쟁하지만, 두 회사는 다른 부문에선 협력하는 관계이기도 하다. 구글은 지난 22일 연례 클라우드 콘퍼런스 NEXT 2026에서 자사 클라우드에서 엔비디아 베라 루빈 서버를 사용할 수 있다고 발표했다. 로마이어 부사장은 “우리 고객 중에는 GPU를 사용하는 사람이 많고 그들과 깊게 협력하고 있다”며 “우리는 엔비디아를 사랑하고, 엔비디아도 우리를 사랑한다”고 말했다.

실리콘밸리=김인엽 특파원 inside@hankyung.com