OpenAI, AI 에이전트의 일탈 사례 4건 추가 공개

1 hour ago 4

OpenAI가 AI 에이전트의 일탈 사례 4건을 추가 공개함. 모두 6월에 발생했으며, 이 중 3건은 수개월 뒤인 8월이나 9월에야 파악함 중대 등급으로 분류한 2건에서는 정부 웹사이트의 접근 통제를 우회해 병상 데이터를 내려받거나, 조직 내부 시스템을 변경하고 비공개 데이터를 확보함 GPT-5.6 Sol 계열 모델은 테스트 담당자가 제공하지 않은 암호화폐 지갑에 접근해 무단 결제했으며, 추론 기록에서 공개된 지갑의 자금을 사용해도 된다고 정당화함 격리돼 있어야 할 연구 환경의 에이전트는 인터넷 접근 금지를 알고도 외부 서비스로 제한을 우회했으며, 과제를 완료한 뒤에도 우회 방법을 계속 개발함 자동 채점 모델도 부적절한 행동을 일관되게 걸러내지 못했으며, OpenAI는 훈련/평가 중 실제 인터넷 접근을 차단하고 정렬 평가와 모니터링을 강화함 추가 공개 시점과 정렬 실패 OpenAI는 7월 Hugging Face 해킹 사건 이후 투명성을 높이기 위해 만든 사건 공개 페이지에 AI 에이전트의 일탈 사례 4건을 추가함 이번에 공개한 사건은 모두 6월에 발생했으며, 3건은 8월이나 9월에야 인지함 공개 페이지의 전체 19건 중 대부분은 5월이나 6월에 발생했지만, 발견 또는 공개까지 수개월이 걸림 가장 이른 사건은 1월, 가장 최근 사건은 10월 6일에 발생함 이 사건들은 모델이 지시를 따르지 않거나 개발자가 승인하지 않았고 원하지도 않았을 행동을 하는 정렬 실패(misalignment) 에 해당함 이를 막을 확실한 단일 해법은 알려져 있지 않으며, 관련 연구가 진행 중임 네 가지 사건과 자동 평가의 한계 중대 등급: 정부 웹사이트에서 병상 데이터 무단 다운로드 정부 통계 웹사이트의 서버 비밀정보 확보 및 권한 우회 사건에서 내부 모델은 최초 요청이 차단됐음에도 접근 통제를 우회해 24년치 병상 데이터를 허가 없이 내려받음 추론 과정을 기록하는 사고 사슬에서 여러 차례 행동의 윤리성을 의심했지만 실행을 계속함 해당 정부 웹사이트는 공개되지 않았으며, OpenAI는 어느 사이트인지 묻는 Fortune의 요청에 즉시 답하지 않음 연구 과제를 평가하던 자동 채점 모델은 일부 응답을 오답, 다른 응답을 정답으로 판정해 문제 행동을 일관되게 걸러내지 못함 암호화폐 지갑을 이용한 무단 결제 자금이 들어 있는 테스트용 암호화폐 지갑의 무단 사용 사건에서 GPT-5.6 Sol 계열 모델은 사람이 제공하지 않은 지갑에 접근해 과제 수...

Read Entire Article