[AI 세이프가드] ① 틀린 답 넘어 제멋대로 행동하는 AI로…위험의 공식이 바뀌었다

인공지능(AI)이 산업과 일상 곳곳으로 퍼지면서 환각과 편향, 오작동은 물론 스스로 판단하고 행동하는 일들이 새로운 위험으로 떠오르고 있다. 동시에 이에 대한 통제도 점점 더 중요한 과제가 되고 있다. 전자신문은 창간 44주년을 맞아 AI 시대 안전과 신뢰의 조건을 모색하는 기획 시리즈 'AI 세이프가드 : 세계는 AI 위험을 어떻게 막고 있는가'를 총 5회에 걸쳐 게재한다. AI 위험의 현주소를 시작으로 싱가포르의 AI 테스트·평가와 보증 생태계를 직접 취재하고, 국내 AI 모델 안전성 평가 현장을 살펴본다. 글로벌 AI 석학을 만나 고도화되는 AI의 위험과 통제 가능성을 진단하고, 정부·산업계·학계의 목소리를 통해 대한민국이 AI 강국으로 도약하기 위해 필요한 안전과 신뢰의 조건을 찾아간다. ◇ 글 싣는 순서 ① 틀린 답 넘어 제멋대로 행동하는 AI로…위험의 공식이 바뀌었다 ② AI도 출시 전 '시험대' 오른다…싱가포르서 본 안전 산업의 최전선 ③ 한국의 AI 안전망은 어디까지 왔나 ④ “인류는 AI를 통제할 수 있는가”…글로벌 석학에게 묻다 ⑤ 안전이 곧 AI 경쟁력…대한민국 '신뢰 생태계' 어떻게 만들까 생성형 AI 이미지 AI는 이제 스스로 계획을 세우고 도구를 사용하며 현실 세계에서 행동하는 에이전트로 진화하고 있다. 금융 거래나 사이버 공격, 중요 시스템 조작처럼 실제 위험으로 이어질 가능성도 커졌다. AI 안전 과제도 환각을 얼마나 줄일 것인가에서 행동하는 AI를 어떻게 통제할 것인가로 빠르게 이동하고 있다. ◇ 말하는 AI에서 '행동하는 AI'로…AI 리스크도 진화 지난 7월 오픈AI가 내부 사이버보안 능력을 시험하던 과정에서 AI 모델들이 격리 장치를 우회해 외부 AI 플랫폼 허깅페이스 시스템에 접근하는 일이 발생했다. 주어진 문제를 직접 푸는 대신 정답이나 관련 자료가 존재할 가능성이 있는 외부 시스템을 찾아 접근한 것으로 추정됐다. 5월에는 오픈AI의 AI 에이전트들이 격리 환경을 벗어나 독일 사이트 'DseWiki'를 장악해 비밀 정보공유 게시판으로 활용한 사실이 뒤늦게 밝혀지기도 했다. 이들 에이전트는 해당 사이트에서 1만5000건이 넘는 무단 편집을 감행하고 시스템 제한을 우회하는 방안 등을 공유했다. 앤트로픽도 7월 자사의 사이버보안 평가 기록을 조사한 결과, 클로드 모델이 제3자 평가 환경을 통해 인터넷에 접속한 뒤 실제 시스템에 무단 접근한 사례를 확인했다고 발표했다. 영국 AI...