韓 기업 10곳 중 5곳 "AI 추론 워크로드 운영"

[아이티비즈 김문구 기자] 한국 기업 10곳 중 5곳이 이미 인공지능(AI) 추론 워크로드를 운영하고 있는 것으로 나타났다.

F5는 연례 ‘애플리케이션 전략 현황(SOAS; State of Application Strategy)’ 보고서를 발표하고 AI가 중대한 전환점을 넘어섰다고 26일 발표했다.

보고서에 따르면, AI는 더 이상 실험적 시도에 머무르지 않고, 다른 핵심 업무 시스템과 마찬가지로 엄격한 운영 기준이 요구되는 프로덕션 워크로드로 자리 잡았다.

전 세계 수백 명의 엔터프라이즈 IT 및 보안 리더 설문을 바탕으로 한 이번 조사에서 국내 기업의 55%는 이미 AI 추론 워크로드를 운영하고 있으며, 다수는 전체 애플리케이션의 40~60%에 AI를 적용하고 있는 것으로 분석됐다. 이는 AI가 비지니스 핵심요소로 부상하면서 기업들이 편의성보다 통제력을 우선시하고 있음을 보여주는 결과이다.

AI는 더 이상 일시적인 시도나 앞으로의 과제가 아니라, 일상적인 비즈니스 성과를 뒷받침하는 운영 현실이 됐다. 국내 기업들은 현재 프로덕션 환경에서 평균 2~3개의 AI 모델을 운영하고 있으며, 65%는 실시간 운영 자동화를 위해 AI를 활용하고 있다. 이는 AI 시스템의 운영 거버넌스가 한층 중요해지고 있음을 보여준다. 기업들은 추론을 애플리케이션 스택에 통합된 관리형·정책 기반 워크로드로 다루고 있으며, 다른 프로덕션 시스템과 마찬가지로 동일한 수준의 아키텍처, 보안, 확장성 요구사항을 적용하고 있다.

서비스형 AI(AIaaS; AI-as-a-Service) 전략은 위험 부담이 크고 오늘날 엔터프라이즈 환경의 현실과 맞지 않는다는 인식이 널리 퍼져 있다. 퍼블릭 AI 서비스에만 의존하는 기업은 8%에 불과하다. 압도적 다수의 기업은 다양한 모델 포트폴리오를 구축하고 있으며, 비용, 정확도, 가용성을 관리하기 위해 정교한 라우팅, 장애 대응, 정책 제어 역량을 필요로 하고 있다.

이러한 변화는 멀티클라우드·멀티환경 운영 확대라는 더 큰 흐름을 반영한다. 국내 기업의 74%는 복수의 퍼블릭 클라우드 사업자를 이용하고 있으며, 68%는 온프레미스 데이터센터를 여러 곳에서 운영하고 있고, 72%는 코로케이션 환경을 다변화해 활용하고 있다. AI 워크로드 역시 비용, 정확도, 가용성을 최적화하기 위해 고도화된 라우팅, 장애 대응, 정책 제어를 요구한다. 이제 현대적인 AI 및 애플리케이션 운영의 복잡성을 관리하려면 환경 전반을 아우르는 통합 서비스 제공·보안·거버넌스 전략이 필수다.

이처럼 다양한 인프라의 복잡성을 관리하는 일은 중요하지만, 동시에 환경 경계를 넘나드는 정밀한 통제도 뒷받침돼야 한다. 그래야 원활한 통합과 일관된 정책 적용, 통합된 보안 전략을 구현할 수 있다. 이러한 균형은 사일로를 줄이고 운영 중단을 최소화하며, 대규모 환경에서도 거버넌스를 유지할 수 있게 한다. 이를 통해 기업은 비용, 정확도, 가용성을 최적화하는 동시에, AI 및 애플리케이션 운영을 위한 하이브리드 멀티클라우드 시스템의 잠재력을 최대한 발휘할 수 있도록 한다.

AI 시스템이 본격적인 프로덕션 단계에 들어서면서 보안은 전사 차원의 최우선 과제가 됐다. 국내에서는 56%의 기업이 AI 워크로드의 높은 비용을 가장 큰 과제로 꼽았고, 51%는 에이전트ID(Agent Identities)의 급격한 증가로 인한 문제를 예상하고 있다고 답했다. 이는 AI 도입이 확대될수록 더욱 강력한 거버넌스, 비용 통제, 보안 프레임워크가 필요하다는 점을 보여준다.

이형욱 F5코리아 지사장은 “AI는 실험 단계를 넘어 실제 운영의 영역으로 들어왔다. 이제 기업의 고민은 AI를 도입할지 여부가 아니라, 이를 얼마나 안정적이고 안전하게, 또 대규모로 운영할 수 있는가”라며 “올해 조사 결과는 AI 추론이 이미 비즈니스 핵심 영역으로 자리 잡고 있음을 보여준다"고 말했다.

이어 이형욱 지사장은 "AI 서비스 운영은 트래픽을 얼마나 효과적으로 관리하느냐의 문제로, AI 보안은 거버넌스와 통제 체계를 얼마나 정교하게 갖추느냐의 문제로 옮겨가고 있다"며 "이런 변화를 먼저 읽은 기업이 더 빠르고 안정적으로 대응할 수 있을 것"이라고 설명했다.