오케스트로 “AI 인프라 경쟁력, GPU 확보 넘어 '운영 효율'이 좌우”

김민준 오케스트로 의장이 OPUS 2026에서 기업 AI 사업 전략을 발표하는 모습. AI 인프라 소프트웨어 대표 기업 오케스트로 그룹은 테크 컨퍼런스 'OPUS 2026'에서 AI 인프라에 대한 고객의 관심이 GPU 확보에서 추론 성능과 운영 효율로 이동하고 있음을 확인했다고 7일 밝혔다. 지난달 28일 서울 코엑스 오디토리움에서 열린 'OPUS 2026'에는 공공기관, 금융사, 제조·통신 대기업, IT 서비스 기업 등의 IT 관계자 2,000명 이상이 참석했다. 행사에서는 기업과 공공기관의 AI 인프라 구축·운영 과제를 중심으로 상담과 기술 논의가 이어졌다. GPU 자원 배분과 응답 지연 개선, 복잡한 추론 환경의 효과적인 운영 방안에 대한 문의가 집중됐으며, 기존 자원을 활용해 추론 성능과 운영 안정성을 높이려는 수요가 공통적으로 나타났다. 오케스트로는 이 같은 현장 수요를 종합한 결과, AI 인프라 경쟁력을 판단하는 기준이 GPU 확보 자체에서 실제 운영 성과로 옮겨가고 있다고 분석했다. 특히 응답 속도와 처리 성능을 높이는 동시에 운영 비용과 복잡성을 관리할 수 있는지가 핵심 기준으로 떠오르고 있다는 설명이다. 이러한 흐름은 'OPUS 2026' 이후 기업·공공기관 IT 종사자 1703명을 대상으로 진행한 조사에서도 확인됐다. 조사 결과, AI 인프라 또는 추론 환경을 운영할 때 가장 큰 부담으로 GPU 서버 비용(36.9%)과 AI 인프라 전문 인력 부족(36.5%)이 꼽혔다. AI 인프라 구축·운영 경험이 부족하다는 응답도 22.2%를 차지했다. AI 추론 플랫폼을 선택할 때는 추론 성능과 응답 속도(20.2%), GPU 활용률과 비용 효율(19.2%), 기존 인프라 및 클라우드 환경과의 연계성(16.7%)을 중요하게 고려하는 것으로 나타났다. 이 같은 결과는 AI 인프라 경쟁의 무게중심이 하드웨어 확보에서 소프트웨어 기반의 운영 효율화로 이동하고 있음을 보여준다. 기업과 공공기관은 보유 자원의 활용 효율과 추론 성능을 높이고 비용과 운영 안정성을 함께 관리하는 것을 주요 과제로 인식하고 있다. 오케스트로는 AI 추론 운영 플랫폼 '콘체르토 AI'를 앞세워 이러한 수요에 대응하고 있다. 콘체르토 AI는 분산 서빙 기반의 추론 최적화와 실시간 자원 배분을 통해 응답 지연을 줄이고, 보유한 GPU 자원의 활용 효율을 높인다. 오케스트로는 'OPUS 2026'에서 확인한 현장 수요와 조사 결과를 바탕으로...