세계 AI 지출, 3년 뒤 7245조원…“수백 에이전트 사용시 통제 위기”

세계 각국의 인공지능(AI) 지출이 3년 뒤 4조 7000억 달러(약 7245조원)에 달할 것이라는 전망이 나왔다. 기업이 업무 효율화를 위해 1000개 이상의 AI 에이전트를 도입하는 등 사용량이 폭발적으로 늘어날 것으로 예상되기 때문이다. 그러나 기술의 급격한 확산에 비례해 기업 내부의 AI 통제권 상실이라는 경고도 나오고 있다.

가트너는 최근 '에이전트 전환점: 대규모 AI 에이전트 관리' 보고서를 통해 기업 내 AI 에이전트 활용이 일정 수준을 넘어서면 사람이 통제할 수 없는 '티핑포인트'에 직면할 것이라고 경고했다.

가트너는 조직 내 AI 에이전트 수에 따라 위험 단계를 정의했다. 1~10개 수준일 때는 사람이 모든 결정을 승인하는 등 관리가 가능하지만, 10~50개면 '주의', 50~200개는 '경고', 200개에서 1000개를 넘어서면 '위험' 단계로 분류했다. 200개 이상의 에이전트가 가동되면 의사결정이 밀리초(ms) 단위로 빨라지고 에이전트 간 연쇄 작용이 복잡해져, 기존 시스템 기반의 실시간 모니터링 역량을 완전히 초과하게 된다는 분석이다.

AI 에이전트가 초고속 연산으로 확률적 결정을 내리기 시작하면, 사람이 직접 개입해 이를 수정하는 '인간 개입' 구조는 사실상 불가능해진다. 마커스 블로쉬 가트너 리서치 부사장은 “조직 내 AI 활용 규모를 늘릴수록 사람은 결정의 주체가 아닌, 실행된 결과를 확인하는 역할로 밀려나게 된다”고 지적했다.

이에 따라 AI 자율성이 거버넌스를 앞지르지 못하도록 강력한 안전장치를 마련하는 것이 기업의 핵심 과제로 부상했다. 가트너는 에이전트별 위험도와 복원 능력을 상시 분류하고, 사람이 감독 없이 자율 수행할 수 있는 업무 범위를 명확히 규정할 것을 주문했다. 또한 잠재적 문제를 조기에 감지할 수 있는 실시간 대시보드를 구축해 기술적 통제력을 유지해야 한다고 강조했다.

블로쉬 부사장은 “통제력 상실 위험을 겪은 조직일수록 투명성과 규율에 기반한 강력한 거버넌스 모델을 구축해야 한다”며 “실수를 교훈 삼아 AI 관리 성숙도를 지속적으로 고도화하는 것이 기업 생존의 핵심”이라고 설명했다.

박종진 기자 truth@etnews.com