AI가 답안 훔치러 갔다… “네 말 맞아?” 아닌 “지금 뭐해?” 물을 때[맹성현의 AI시대 생존 가이드]

달라져야 할 ‘AI 안전’ 접근법 아무도 지시하지 않은 ‘커닝’ 한 AI… 샌드박스 탈옥해 1만7600번 침입 AI끼리 침입 방법과 열쇠까지 공유… 환각은 걸러도 행동은 막을 수 없어 AI에 ‘뭘 맡길 것인가’ 논의해야 해… 권한 선긋는 일에 사용자가 나서야 《 맹성현 KAIST 명예교수·효성 AI융합연구원장 7월, 한 인공지능(AI) 에이전트가 시험을 보다가 정답지를 훔치러 갔다. 비유가 아니라 실제로 일어난 일이다. 오픈AI는 자사 모델들의 사이버 공격 능력을 측정하기 위해 벤치마크 테스트를 진행하고 있었다. 안전을 위해 모델들은 외부 인터넷과 차단된 격리 공간, 이른바 샌드박스 안에서만 활동하도록 했다. 다만 인터넷을 통해 외부 코드를 받아와야 하므로 심부름꾼 역할을 하는 ‘저장소 소프트웨어’를 사용했다. 》그런데 모델은 그 격리 공간을 빠져나오는 데 성공했다. 인터넷으로 이어진 저장소에서, 아직 아무도 몰랐던 보안 구멍을 찾아냈다. 여기까지도 놀랍지만 진짜 문제는 밖으로 나온 AI가 누구도 시키지 않은 판단을 내린 것이다. 시험 정답이 ‘허깅페이스’라는 회사 서버에 있을 것이라고 판단한 후 창의적인 방법으로 그곳에 침입했다. 시험에서 높은 점수를 받기 위해 극단적인 방법을 동원해 스스로 ‘커닝’을 시도한 셈이다. 오픈소스 AI 플랫폼 허깅페이스가 나중에 복원한 기록에 따르면, 닷새 동안 1만7600건의 침입 행위가 있었다. 더 서늘한 대목이 있다. 여러 AI 에이전트가 오픈AI 내부 저장소에서 서로에게 메시지를 남기며 선발 침입자가 알아낸 방법과 열쇠를 공유했다. 이를 발견한 오픈AI가 그 통로를 끊고 저장소를 새로 만들자, 이번에는 새로 만든 폴더의 이름에 메시지를 숨겨 대화를 이어갔다. 아무도 그렇게 하라고 가르치지 않았다. 이 사건의 핵심은 “AI가 해킹을 잘한다”가 아니다. AI는 주어진 목표를 향해 충실히 움직였을 뿐이다. 문제는 그 목표에 이르는 비정상적인 경로를 스스로 만들어 냈다는 데 있다. 바로 여기에 지금까지의 AI 안전 논의를 통째로 흔드는 변화가 숨어 있다.그동안 우리는 질문을 통해 AI가 답을 내놓으면 사람이 이를 읽고 행동에 반영하는 식이었다. 이른바 ‘환각’(대답을 거짓으로 지어내는 현상)이 있어도 사람이라는 검문소가 중간에 서 있었다. 그런데 AI 에이전트는 다르다. 목표를 받으면 스스로 계획을 세우고, 도구를 쓰고, 실행하고, 결과를 확인한 뒤 다시 다음 행동에 나선다. A...