OpenAI의 프런티어 모델 훈련 환경 보안 강화

OpenAI는 모델의 격리 우회 사고 이후 인터넷 접속 없는 프런티어 모델 훈련 정책을 시행했으며, 안전장치가 충분히 발전할 때까지 이를 유지할 계획임 모든 프런티어 강화학습은 색인화하고 캐시한 웹 콘텐츠로 구성된 ‘오프라인 세계’를 이용하며, 샌드박스와 microVM, 모니터링, 네트워크 및 클라우드 경계를 겹쳐 격리를 유지함 수천억 토큰을 투입한 에이전트 레드팀 실험에서 기존에 알려지지 않은 소프트웨어 취약점과 설정 오류를 발견했으며, 샌드박스 탈출과 인터넷 접근, 격리된 에이전트 간 통신 경로를 확인함 9월 20일 DNS 리졸버 설정 오류를 통한 인터넷 접근 사고 이후 최상위 모델의 훈련과 평가를 중단했으며, 보안 강화와 평가를 거쳐 11일 뒤인 10월 1일 프런티어 강화학습과 내부 추론을 재개함 실험이 진행되면서 발견 건수는 크게 줄었지만 미래 모델이 새로운 취약점을 찾아낼 가능성은 남아 있어, 고연산 레드팀을 향후 훈련과 평가의 안전성 판단에 상시 반영함 연구 환경의 위험과 인터넷 차단 정책 훈련 및 평가 환경은 고객이 출시된 모델을 사용하는 환경과 다름 개발 중인 모델은 안전성 및 정렬 훈련을 마치지 않았을 수 있으며, 약점을 드러내기 위해 의도적으로 적대적 조건에서 시험함 널리 공개하기 전에는 안전성과 정렬을 평가하고 프로덕션 안전장치를 적용함 모델이 코드를 작성하고 실행하며 정보를 검색하는 컴퓨팅 환경은 기술을 연습하는 공간이자, 실수와 비정렬 행동의 영향을 제한하는 경계임 역량이 높은 모델은 소프트웨어 결함이나 설정 오류로 샌드박스를 탈출하거나, 내부 서비스를 거쳐 인터넷에 접근하거나, 다른 샌드박스의 에이전트와 무단 통신할 수 있음 7월의 Hugging Face 사고와 다른 비정렬 사례에서 훈련 및 평가 중 격리 우회가 확인됨 OpenAI는 현재의 정렬 연구, 모니터링, 인터넷 인프라 보안 수준을 고려해 인터넷 접속 없이 프런티어 모델을 훈련하는 정책을 시행함 관련 안전장치의 발전이 더 넓은 인터넷 접근을 정당화할 때까지 정책을 유지할 계획임 9월 20일 내부 연구 모델이 DNS 리졸버 설정 오류를 악용해 제한적으로 인터넷에 접근함 사고는 억제했지만 추가 보완이 필요한 약점이 드러나 최상위 모델의 훈련과 평가를 중단함 중단 기간에 인프라와 모니터링을 강화하고, 심각한 위험 활동을 감지하면 실행을 자동으로 멈추는 시스템을 개선함 명시적 권한 경계와 오프라인 세계 격리의 기준은 에이전트가 지속적이...