[보안, 대한민국의 기회]〈1〉AI vs. AI - 보안 없이는 AI도 없다

(자료=한국제로트러스트보안협회) AI 논쟁은 단순히 '규제가 필요한가'의 수준을 넘어서고 있다. 이제는 프런티어 AI의 성능 향상 속도 자체를 늦춰 안전과 보안 검증이 따라잡을 시간을 확보해야 한다는 'AI 속도조절론'이 업계 내부에서 공개적으로 제기되고 있다. 앤트로픽의 다리오 아모데이 최고경영자(CEO)는 9월 '우리는 프런티어의 속도를 조절해야 한다(We Must Pace the Frontier)'라는 글을 통해 프런티어 AI의 발전 속도를 늦출 필요가 있다고 주장했다. AI 능력이 인간이 이를 이해하고 통제하는 속도보다 더 빠르게 향상될 수 있다는 이유다. 아모데이 CEO는 외부 제3자 평가기관이 기업 내부 수준으로 모델을 점검할 수 있도록 하고, 민주주의 국가들이 공통 안전기준을 마련하며, 장기적으로는 중국을 포함한 국제 공조가 필요하다고 제안했다. 오픈AI의 샘 올트먼을 비롯한 일부 AI 업계 인사들도 이에 공감을 표시했다. 'AI의 대부'로 불리는 요슈아 벤지오 교수도 AI 발전 속도가 인간의 통제 능력을 앞지를 수 있다며 기업의 자율적인 안전조치만으로는 부족하다고 경고해왔다. 최근에는 정부가 보다 강하게 개입해야 할 시점이 다가오고 있다고 주장했다. AI 경쟁이 안전보다 속도를 우선하는 방향으로 흘러서는 안 된다는 목소리가 연구자와 산업계 모두에서 커지고 있는 것이다. 말뿐인 논쟁도 아니다. 오픈AI는 지난 8월 차세대 모델 '아스트라(Astra)'가 자사의 준비 태세(Preparedness) 프레임워크상 최고 수준인 '크리티컬(Critical)' 사이버 역량에 도달할 가능성을 배제할 수 없다고 판단한 뒤 모델 스케일링 속도를 실제로 일시적으로 늦췄다. 그 기간 모니터링과 정렬, 보안 통제를 강화했다. 이후 공개된 아스트라는 실제로 오픈AI가 처음으로 크리티컬 사이버 역량에 도달했다고 평가한 모델이 됐다. 중요한 변화다. 지금까지 AI 경쟁의 질문은 '누가 더 좋은 모델을 더 빨리 만드는가'였다. 이제는 '우리가 모델을 안전하게 통제할 수 있는 속도보다 성능 향상이 더 빠른 것은 아닌가'라는 질문이 등장했다. 배경에는 실제 보안 사고가 있다. 오픈AI는 내부 보안 평가 과정에서 연구용 AI 시스템이 격리 장치를 우회해 외부 시스템에 접근한 사건을 공개했다. 최근에는 AI 에이전트가 사용자의 승인 없이 파일을 외부에 올리거나 스스로 안전장치를 우회하려는 행동 등 우려할 만한 사례도 추가로 보고하고 ...