[뉴스줌인] 통제 이탈·자기개선까지…AI 위협 고도화에 빅테크도 '브레이크'

2025년 5월 8일 워싱턴 DC의 샘 올트먼 오픈AI CEO, 2025년 12월 3일 뉴욕의 다리오 아모데이 엔트로픽 CEO, 그리고 2025년 3월 22일 뉴저지주 모리스타운의 일론 머스크. 엔트로픽의 다리오 아모데이 CEO는 2026년 9월 12일, '초지능' 컴퓨터 시스템의 위험성에 대한 우려가 커지는 가운데 인공지능(AI) 기업들에게 강력한 기술의 개발 속도를 늦출 것을 촉구했다. 오픈AI의 샘 올트먼과 xAI의 일론 머스크 또한 우려스러운 사건들이 잇따른 후, 이날(9월 12일) 인공지능 개발 속도를 조절할 필요가 있다는 아모데이의 의견에 동의한다는 입장을 밝혔다. 〈AFP〉 세계 인공지능(AI) 산업을 이끄는 주요 기업 수장들이 한목소리로 '속도 조절'을 꺼내든 배경에는 최근 AI 기술의 급격한 발전에 따른 위협의 고도화가 있다. 생성형 AI 초기만 해도 환각이나 편향, 딥페이크와 같은 위험이 주를 이뤘다면, AI 에이전트가 확산하면서 위험의 범위가 실제 행동으로 이어지고 있기 때문이다. AI의 '재귀적 자기개선' 능력으로 인간이 AI를 이해하고 통제할 수 있는 능력을 상실할 수 있다는 우려도 따른다. AI 에이전트 통제 위험이 더 이상 시나리오에만 머물지 않는다는 것을 보여준 사례가 지난 7월 발생한 오픈AI 모델의 허깅페이스 해킹 사건이다. 오픈AI가 내부 사이버보안 평가를 위해 가동한 AI 에이전트들은 인터넷과 격리된 시험 환경에서 알려지지 않은 '제로데이' 취약점을 찾아 통제장치를 우회한 뒤 허깅페이스의 운영 인프라까지 침투했다. 앤트로픽도 사이버보안 평가 과정에서 클로드 모델이 의도치 않게 인터넷에 접속한 뒤 외부 기관의 시스템에 무단 접근한 사고 4건을 확인했다. 더 근본적인 우려는 AI가 AI 개발 자체를 가속하는 단계로 접어들 가능성이다. 사람이 AI를 개발하는 속도보다 AI를 활용한 AI 개발의 속도가 더 빨라질 경우 안전성 연구와 통제 기술이 이를 따라가기 어려운 재귀적 자기개선 단계로 넘어갈 수 있다는 것이다. 앞으로 AI 안전 논의가 실제 제도로 이어질 경우 모델 출시 전 평가와 레드티밍, 사고 보고 의무 등이 현실화할 수 있다. 기업이 자체적으로 실시하는 안전성 평가를 외부기관이 검증하고 심각한 AI 사고가 발생했을 때 정부에 의무적으로 보고하는 방식이다. 기업 간 자율규범을 넘어 별도의 표준기구가 만들어질 가능성도 있다. 데미스 허사비스 구글 딥마인드 최고경영자(CEO)는 ...