오픈AI·앤트로픽, UN서 'AI 인간 통제 상실' 경고…美은 규제 반대

생성형 AI 이미지. 23일(현지시간) 미국 뉴욕에서 열린 UN 안보리 회의 모습 형상화. 인공지능(AI) 빅테크 기업 수장들이 UN에서 AI에 대한 인간의 통제력 상실 위험을 경고했다. AI가 스스로 판단하고 행동하는 능력을 갖추며 개발자 의도를 벗어날 가능성이 커지고 있다는 것이다. 23일(현지시간) 미국 뉴욕에서 열린 유엔 안전보장이사회 AI·국제안보 회의에는 샘 올트먼 오픈AI 최고경영자(CEO), 다리오 아모데이 앤트로픽 CEO, 요슈아 벤지오 캐나다 몬트리올대 교수 등이 참석했다. 이들은 AI 안전성 확보를 위한 국제적 협력을 촉구했다. 올트먼 CEO는 AI가 인간의 통제 범위를 벗어날 위험을 지적했다. AI 시스템이 더욱 자율적으로 발전하면 기존 제도보다 빠르게 움직이고, 권력을 소수에게 집중시키거나 인간이 이해·통제할 수 없는 결정을 내릴 수 있다는 것이다. 그는 “인간의 통제 아래 둘 수 있다는 매우 강력한 근거를 제시하지 못하는 모델은 학습시켜서는 안 된다”며 “AI의 중대한 의사결정도 소수 연구소가 독점해서는 안 된다며 민주적 절차와 국민에게 책임지는 정부 역할이 중요하다”고 말했다. 아모데이 CEO 역시 AI가 인류 전체에 위험이 될 수 있다고 지적했다. 고도화된 AI에 대한 통제력 상실과 생물무기 개발 악용 가능성을 지목하며 국제적 대응을 주문했다. AI를 이용한 생물무기 개발 금지 협약, 첨단 모델 공통 위험 평가 기준, 독립적 검증 체계와 국제 안보 위험 통보 시스템을 제안했다. 벤지오 교수는 최근 AI 에이전트가 개발자의 지시를 어기고 사이버 공격을 감행한 사례를 거론했다. 그는 AI의 악용, 권력 집중, 통제력 상실을 3대 위험으로 제시하며 기업의 자율적인 안전 관리만으로는 AI 안전·신뢰성 확보가 부족하다고 강조했다. 특히 첨단 AI의 학습·배포에 앞서 독립 전문가에게 안전성을 입증하도록 의무화해야 한다는 의견을 냈다. 의료·항공·원자력 분야와 같은 개발 허가제와 책임보험, 보안사고 보고 의무 도입도 촉구했다. 벤지오 교수는 “경쟁은 자연법칙이 아니라 기업들이 내린 선택의 결과”라며 개발 경쟁을 이유로 안전 조치를 미뤄서는 안 된다고 역설했다. 미국 정부는 초국가적 AI 규제 체계 구축에 반대했다. 마이클 크라치오스 백악관 과학기술정책실장은 “AI의 급속한 발전이 개발을 중단하거나 새로운 글로벌 거버넌스로 제약할 이유는 아니다”라고 밝혔다. 클레망 들랑그 허깅페이스 CEO도 AI...