[ET시론]AI시대 2막, 조율자로 돌아온 CPU

생성형 인공지능(AI)의 폭발적 성장을 이끌었던 거대언어모델(LLM) 시대를 지나, 우리는 '에이전틱 AI'라는 새로운 패러다임의 변곡점에 서 있다. 과거의 AI가 질문에 수동적으로 답하는 도구였다면, 에이전틱 AI는 인간의 지시 없이도 상황을 인지하고 행동하는 자율형 파트너다. 출근길 교통 상황을 파악해 선제적으로 길 안내를 하거나, PC가 생활 패턴을 학습해 일정을 알아서 정리하는 식이다. 산업적으로는 스마트 팩토리가 스스로 장애를 파악해 정비하고 물건을 자동 분류하는 등 다양하게 활용될 것이다.

이러한 자율성이 구현되려면 막대한 연산을 클라우드에만 의존하던 방식에서 벗어나야 한다. 데이터 보안, 지연 시간, 처리 비용을 최적화하기 위해 로컬 기기와 연동하는 '하이브리드 AI'가 필수 인프라 전략이 되며, 나아가 현실세계와 상호작용하는 '피지컬 AI'로 확장돼야 한다. 이처럼 AI 적용 범위가 다변화되면서, 전체 AI 컴퓨팅의 중심축 역시 거대 모델을 구축하는 '학습(Training)'에서 실제 서비스 현장에 적용하는 '추론(Inference)' 워크로드로 급격히 이동하고 있다.

사실 AI의 발전 단계를 되짚어보면 하드웨어 패러다임 역시 이와 궤를 같이해왔다. 복잡도가 낮았던 '전통적 AI' 시절에는 범용 프로세서(CPU)만으로 처리가 가능했지만, 거대 모델을 훈련해야 했던 '생성형 AI'시대에 접어들면서 대규모 병렬 연산에 특화된 GPU 역할이 절대적으로 커졌다.

그리고 이제 스스로 판단하고 행동하는 '에이전틱 AI'로 넘어가면서 CPU 역할이 다시금 부각되고 있다. 이 자율형 AI 단계에서는 GPU와 CPU의 정교한 역할 분담이 필수적이기 때문이다. GPU가 대규모 학습을 수행한다면, CPU는 수많은 에이전트들의 행동을 관리하는 오케스트레이션을 담당한다. 즉, 작업 스케줄링과 메모리 관리, 외부 API 호출 등 시스템을 조율하는 사령탑 역할이 모두 CPU의 몫이다.

이러한 변화는 최전선에 있는 클라우드 인프라 시장 지형도부터 빠르게 바꾸고 있다. CES 2026에서 레노버 CEO는 과거 모델 학습에 80%가 집중됐던 AI 인프라 비율이 향후 추론 80%로 완전히 역전될 것이라 예측했으며, 딜로이트 역시 전체 AI 컴퓨팅 내 추론 비중이 2026년 약 66.7%까지 치솟을 것으로 내다봤다.

문제는 에이전틱 AI가 복잡한 다단계 작업을 스스로 수행하기 위해 이전보다 훨씬 방대한 연산과 전력을 요구한다는 점이다. 특히 여러 단계를 거치며 사고하고 행동하는 특성 탓에, 단 한 번의 작업에도 기존 챗봇 대비 최대 1000배 이상의 토큰을 소비하게 된다.

전력 소모의 물리적 한계가 다가오는 환경에서 데이터센터의 인프라 효율을 극대화할 핵심 열쇠로 CPU가 주목받는 이유다. 최신 CPU들이 AI 추론 가속 기능까지 갖추면서, 고비용 GPU의 전력 부담을 덜고 전체 워크로드를 효율적으로 분담할 현실적 대안으로 부상했다.

이러한 하드웨어 역학 관계의 변화는 데이터센터 구축 현장에서 수치로 나타난다. 인텔의 데이비드 진스너 CFO는 올해 1분기 인텔 실적 발표에서 과거 1개의 CPU당 7~8개의 GPU가 배치되던 학습 환경의 인프라 비율이 추론 환경으로 넘어오면서 1대 3~4 수준으로 좁혀졌다고 밝혔다. 인텔 립-부 탄 CEO 역시 이 흐름을 언급하며, 에이전틱 AI 시나리오가 고도화될수록 장기적으로 CPU와 GPU의 혼합 비율이 1대 1, 혹은 CPU 비중이 앞서는 방향으로 역전될 수 있다고 강조했다.

이는 CPU가 단순한 배경 인프라가 아니라, 시스템의 비용과 성능을 좌우하는 전략적 컨트롤 플레인으로 격상됐음을 의미한다. 폭증하는 워크로드에 대응하려면 비싼 가속기의 유휴 시간을 줄이고 총소유비용(TCO)을 최적화하기 위해 CPU와 GPU가 유기적으로 결합된 랙(Rack) 단위 인프라 재설계가 필수적이다.

이러한 CPU의 범용성과 확장성은 폭발적인 연산 수요를 분산시키는 하이브리드 AI와 피지컬 AI 환경에서도 빛을 발한다. 막대한 전력을 소모하는 고사양 외장 GPU를 모든 엣지 디바이스나 자율 장비에 탑재할 수는 없다. 엣지 단말에서는 전력 효율이 높은 내장 가속기를, 소형 엣지 서버 영역에서는 고성능 CPU 기반 서버를 활용하는 단계적 접근이 이뤄지고 있다. 특히 대형 가속기 없이 CPU 중심 추론만으로 요구 성능을 만족하는 현장 워크로드가 다수 존재한다.

지난 컴퓨텍스 무대에서 인텔이 집적도를 극대화한 서버용 프로세서를 필두로, 클라우드 의존도를 낮추고 하이브리드 효율을 극대화하는 맞춤형 실행 플랫폼 '슈퍼클로(SuperClaw)', 그리고 로봇 산업을 겨냥한 피지컬 AI 생태계 확장을 동시에 내세운 것은 이러한 업계의 다변화된 요구를 정확히 반영한 결과다.

최근 로보틱스 업계가 주목하는 문제의식도 이와 맞닿아 있다. 피지컬 AI 시대의 로봇은 더 강력한 모델을 탑재하는 것을 넘어, 현장 요구에 맞는 시스템 아키텍처를 설계하는 것이 관건이다. 로봇은 물리적 환경과 직접 상호작용하기 때문에 지연시간, 전력 효율, 안전성, 확장성, 배포 용이성을 동시에 만족해야 한다. 예를 들어 사람과 함께 작업하는 협동로봇이나 제조 현장의 이동형 로봇은 짧은 응답시간과 안정적인 현장 제어가 중요해 엣지 중심 구조가 유리할 수 있다.

반면 여러 대의 로봇을 통합 운영하는 환경에서는 실시간 제어는 엣지에서 처리하고, 데이터 분석과 기능 확장은 클라우드와 결합하는 하이브리드 구조가 더 적합할 수 있다. 결국 로보틱스의 경쟁력은 CPU, GPU, NPU와 같은 개별 부품의 우열이 아니라, 워크로드별 역할을 나누고 현장의 제약조건에 맞춰 이를 조합하는 아키텍처 의사결정 역량에서 나온다. 피지컬 AI가 확산될수록 CPU는 실시간 제어, 시스템 안정성, 이기종 컴퓨팅 조율을 담당하는 핵심 기반으로 부상한다.

생성형 AI에서 에이전틱 AI, 하이브리드 AI, 그리고 피지컬 AI로 이어지는 패러다임의 진화는 분명한 메시지를 던진다. AI 인프라의 해답은 가장 크고 비싼 가속기를 더 많이 도입하는 데만 있지 않다. 워크로드의 성격에 맞는 목적형 컴퓨팅 자원과, 전체 시스템을 안정적이고 효율적으로 조율하는 범용 프로세서의 균형 있는 결합이 핵심이다.

이제 AI는 데이터를 대규모로 학습하는 단계를 넘어, 현장의 문제를 이해하고 판단하며 클라우드와 엣지, 디지털 세계와 물리적 세계를 오가며 실행되는 단계로 진화하고 있다. 그 복잡한 흐름을 지탱하고 조율하는 기반으로서 CPU는 다시 한번 미래 컴퓨팅 아키텍처의 중심에 서게 될 것이다.

배태원 인텔코리아 사장 angela.park@intel.com