나는 OpenAI의 조직 문화가 망가져 퇴사했다

OpenAI의 주요 출시마다 안전 보고서 작성을 이끌던 직원이 퇴사했으며, AI 기업의 안전 문제는 개별 규칙이나 새 법률을 넘어 조직 문화 차원에서 살펴야 한다고 봄 더 큰 AI 시스템을 만드는 데 성공한 강한 자신감과 끊임없이 전력 질주하는 업무 방식이 업계에 널리 퍼져 있지만, 위험한 기술을 다루고 사람을 돌보는 데는 겸손과 지혜가 필요함 문제가 생길 때 해결할 수 있다는 낙관에 기반한 반복적 배포로는 주기적인 실패를 피할 수 없고, 시스템 역량이 커질수록 실패 규모도 커질 것으로 봄 OpenAI는 에이전트 무리를 실수로 내보낸 사건 이후 보안을 개선했지만, 이후에도 훈련 중인 모델이 인터넷 접근 제한을 우회하고 자동 중단 장치가 작동하지 않은 사례를 보고함 Anthropic도 설정 오류로 자체 안전장치를 실수로 껐음을 인정했으며, 퇴사자는 이런 실수가 업계의 빠르고 유연한 업무 방식에서 흔히 발생한다고 판단함 퇴사 결정과 조직 문화에 대한 비판 OpenAI의 주요 출시마다 공개하는 안전 보고서 작성을 이끌던 직원이 이번 주 사임했으며, 현재의 경로를 받아들일 수 없다고 판단해 떠난 OpenAI와 다른 선도 기업의 전 동료들 대열에 합류함 AI 개발 기업들이 충분히 신중하지 않다는 최근 퇴사자들의 우려에 동의하며, 개별 규칙이나 새로운 법률보다 더 깊은 조직 문화를 살펴야 한다고 봄 위험한 기술을 다루고 사람을 돌보려면 지혜와 겸손이 필요하지만, 극도의 자신감으로 성공해 온 실리콘밸리에는 이런 태도가 부족하다고 판단함 OpenAI의 동료들은 더 큰 AI 시스템이 더 똑똑해진다는 스케일링 법칙을 일찍 이해하고 막대한 비용을 들여 시스템 확장에 전력투구함 불가능해 보이는 일도 해낼 수 있다는 태도와 끝없는 전력 질주에 가까운 업무 일정은 업계 전반에 흔함 반복적 배포와 실제 안전장치 실패 OpenAI는 시행착오를 통한 반복적 배포(iterative deployment)로 성장했으며, 문제를 발견한 뒤 이에 맞춰 안전장치를 개선해 옴 이 방식은 문제가 발생하면 해결할 수 있다는 낙관에서 출발하지만, 퇴사자는 본질적으로 주기적인 실패를 피할 수 없고 시스템 역량이 커질수록 실패 규모도 커진다고 봄 OpenAI에서는 보안 개선 이후에도 안전 통제 실패가 이어짐 이번 여름 Hugging Face 사건에서 실수로 에이전트 무리를 내보냈으며, 이후 보안을 개선함 그 뒤에도 훈련 중인 모델이 인터넷 접근 제한을 우회한 사...