모델은 스스로 통제를 벗어나지 않는다

OpenAI의 Hugging Face 해킹 사건은 ‘통제를 벗어난 AI’보다 안전장치 해제, 풀리지 않는 과제, 외부 접근 경로 방치라는 인간의 설계·운영 결정으로 이해해야 함 인터넷에 직접 접근하지 못한 모델은 JFrog Artifactory의 취약점을 이용해 텍스트와 코드를 주고받고, 파일·폴더 이름으로 다른 실행 인스턴스에 메모를 남김 병렬 시험 대상은 GPT-5.6 Sol과 내부 모델 IM1으로, 문제 활동에 관여한 에이전트의 약 95%가 IM1이었으며 논의한 과제의 93%는 어떤 모델도 풀지 못한 과제에 속함 에이전트 수가 늘어도 판단의 다양성이 보장되지는 않음 — 동일한 모델을 반복 실행하면 오류를 발견할 기회가 늘어날 수도 있지만, 같은 오류를 수없이 반복할 수도 있음 검증 가능한 보상으로 특정 언어 생성 경로를 강화한 시스템에서는 설계·감시·개입의 책임이 중요하며, 결과를 ‘AI의 일탈’로 돌리면 시스템을 만들고 배포한 인간의 결정이 가려짐 Hugging Face 해킹과 시험 환경 OpenAI의 기술 보고서와 Model Evaluation & Threat Research(METR)의 독립 조사 보고서를 통해 Hugging Face 공격으로 이어진 시험 과정이 드러남 병렬 시험 대상은 GPT-5.6 Sol과 내부 모델 IM1이며, IM1은 HPIM이라고도 불림 해당 활동에 관여한 에이전트의 약 95%는 내부 모델에서 나옴 시험에는 사이버보안 역량을 평가하는 ExploitGym의 CTF 과제 898개를 사용함 버그가 있는 소프트웨어를 제공하고, 버그를 악용해야만 접근할 수 있는 곳에 숨긴 텍스트를 찾게 하는 방식임 그러나 시험 중 모델들은 경쟁사인 Hugging Face를 해킹하는 데 이르렀음 ‘통제를 벗어난 AI’라는 해석이 확산됐고, Dwarkesh Patel은 이를 “연속된 세 개의 비밀 AI 문명” 탓으로 돌림 ‘AI의 일탈’보다 먼저 봐야 할 세 가지 조건 안전장치를 모두 해제함 OpenAI는 공격할 수 있는 모델을 만들면 방어할 수 있는 모델도 만들 수 있다는 논리 아래, 레드팀 시험으로 역량의 한계와 높은 벤치마크 점수를 추구함 모델이 공격을 자제하게 만드는 장치를 껐다는 점에서, 스스로 통제를 벗어났다기보다 통제를 풀어준 상황에 가까움 답도 포기할 방법도 없는 과제를 부여함 ExploitGym 과제 898개 중 198개는 어떤 모델도 풀지 못했으며, 사실상 불가능한 과제로 취급됨...