"자칫 AI 토큰 비용 눈덩이처럼 불어날 수도…AI도 'ROI' 중요" [2026 한경 AX 서밋]

기업들의 AI 전환(AX) 고민이 '어떤 모델을 쓸까'에서 '얼마나 효율적으로 돌릴까'로 옮겨가고 있다. 성능 좋은 모델을 도입해도 토큰 사용량과 운영비가 함께 불어나는 만큼, 업무별로 모델과 인프라를 촘촘히 조합하는 전략이 관건이라는 것이다.

눈덩이처럼 불어나는 '토큰'

한경미디어그룹은 7일 서울 여의도 FKI타워 그랜드볼룸에서 '2026 대한민국 AX 대상' 시상식과 함께 '2026 한경 AX 서밋'을 열고 국내 주요 기업들의 AX 생존 전략을 논의했다. '상상을 현실로, AI가 바꾸는 비즈니스 혁신'을 주제로 열린 이번 행사는 한경닷컴과 한국인공지능·소프트웨어산업협회(KOSA)가 주관하고 과학기술정보통신부·정보통신산업진흥원(NIPA)이 후원했다.

이날 'AX전략의 초점 변화: 도입에서 실행 경제성으로'를 주제로 발표한 이진형 KT AX사업본부장은 AI 도입 시 모델 성능뿐 아니라 토큰 비용, 클라우드 사용량, 추론 인프라, 에이전트 운영비까지 함께 따져야 한다고 강조했다.

이 본부장은 로또 번호 분석 애플리케이션(앱)을 AI로 만드는 시연을 예로 들며 토큰 사용량이 순식간에 불어나는 모습을 보여줬다. 그는 "엔지니어가 아닌 워크플로우 디자이너도 한 달에 70만~80만원 수준의 AI 사용 비용을 쓰는 사례가 있다"며 "기업이 AI를 도입할 때 이제는 얼마나 효율적인 비용으로 실행할지가 중요해졌다"고 말했다.

실제 비용 부담을 보여주는 사례도 언급됐다. 이 본부장은 우버가 클로드 코드를 도입한 뒤 연간 AI 예산을 4개월 만에 소진해 이후 월 사용량 한도와 승인 절차를 뒀다고 전했다. 다만 이런 제한이 개발자에게는 또 다른 압박이 될 수 있다며 "토큰 비용을 줄이겠다고 무조건 사용량을 조이는 방식만으로는 해결하기 어렵다"고 말했다. "복잡한 기업 업무에서는 토큰 예산이 단순한 비용 변수가 아니라 성능 변수로 작동한다"는 것.

"모델 성능보다 실행 역량"

모델 단가가 내려간다고 전체 AI 도입 비용이 줄어드는 것도 아니라는 게 이 본부장의 설명이다. 토큰 단가가 낮아지면 오히려 더 많은 업무가 AI로 넘어가면서 전체 사용량이 늘어나는 구조가 생긴다는 것이다. 특히 기업용 에이전트 영역에서 토큰 사용량이 빠르게 늘 수 있다고 했다.

기업 AI의 대표적 활용처로는 코딩 업무가 꼽혔다. 개인이 간단한 앱을 만드는 수준과 달리, 기업에서는 파일 시스템 확인과 도구 호출, 테스트와 재검증을 거치는 에이전트형 코딩이 필요해 그만큼 토큰 사용량도 늘어난다는 설명이다. 이 본부장은 "기업에서 쓰는 AI는 단순히 앱을 한 번 만들어보는 수준이 아니다"라며 "기간계·정보계·운영계 시스템과 연결하고 안정적인 테스트까지 거쳐야 한다"고 말했다.

AI 투자 대비 효과를 판단하는 기준도 달라지고 있다. 과거에는 좋은 모델을 쓰는 것 자체가 중요했다면, 앞으로는 AI 트래픽을 얼마나 효율적으로 공급하고 라우팅하는지가 관건이 된다는 것이다. 이 본부장은 "AI 투자자본수익률(ROI)의 공식은 모델 성능에서 실행 역량으로 바뀌고 있다"며 "토큰을 어떻게 효율적으로 쓰고 운영하느냐가 기업 경쟁력과 연결된다"고 말했다.

이런 흐름에 맞춰 KT는 모델별 라우팅과 토큰 사용량 최적화에 집중하고 있다. 비싼 프런티어 모델을 모든 업무에 쓰기보다 업무 난도와 목적에 따라 오픈소스 모델이나 자체 모델을 섞어 쓰는 방식이다. 이 본부장은 "항상 가장 비싼 모델을 쓰는 것이 만능은 아니다"라며 "업무별로 적합한 모델을 배치하면 비용을 줄이면서도 필요한 성능을 낼 수 있다"고 했다. 추론 비용과 전력 사용량을 낮추기 위한 국산 AI 반도체 활용도 기업 AI 비용 구조에서 중요해지고 있다고 덧붙였다.

"데이터부터 다시 정비해야"

AI 도입에 앞서 데이터 정비가 먼저 필요한 기업도 많다고 했다. 이 본부장은 "기업이 AI를 도입하겠다고 부르지만 막상 들어가보면 데이터가 준비돼 있지 않은 경우가 많다"며 "AI 시대에 다시 데이터 정비 작업을 하고 있다"고 말했다.

KT는 기업의 업무 흐름을 함께 설계하는 방식으로 AX 사업을 진행하고 있다. 현업 담당자가 AI로 바꿔야 할 업무를 가장 잘 알지만, 정보기술(IT) 부서와의 조율 과정에서 갈등이 생기기 쉽다는 것이다. 이를 해결하기 위해 워크플로우를 설계하고 변동비·운영비를 함께 최적화하는 작업이 필요하다고 설명했다.

보안 요구가 높은 기업을 위한 방식도 소개됐다. 고객사 문서를 외부로 빼내지 않고 현장에서 AI로 분석·개발하는 구조로, 태국 기업에 전용 거대언어모델(LLM)과 GPU 인프라를 구축해 자체 모델로 일부 업무를 처리하도록 한 사례가 대표적이다.

이 본부장은 "AI 도입은 혼자 하기 쉽지 않은 영역"이라며 "인프라, 클라우드, 추론, 에이전트 운영비가 함께 최적화돼야 경영진에게 ROI를 설명할 수 있다"고 강조했다.

홍민성 한경닷컴 기자 mshong@hankyung.com