OpenAI 윤리 책임자, 합류 1년도 안 돼 퇴사

Hacker News 의견들 5년 뒤 AI 윤리의 역사를 다룬 책이 나온다면 Voltaire처럼 풍자적일 듯함 AI 윤리는 가벼운 마케팅 조직에서 개발에 실질적으로 기여하고 성과를 입증해야 하는 부서로 급격히 바뀌고 있음. 회사가 선택한 윤리 기준에 수백만 달러와 수개월을 투입한 모델을 맞출 수 있도록 훈련·평가 체계를 구축해야 하며, 윤리 문제로 재훈련한다면 시간과 비용 낭비가 막대함. 이는 로코의 바실리스크나 AI의 생명 여부를 고민하는 일과 다름 마케팅이나 사변적 논문 출판이 자기 일이라고 여겨 온 이들은 빠르게 적응하거나 업계를 떠나야 할 수 있음 대규모 AI 도약이 시작될 무렵, 마케팅이 아닌 실질적 윤리 업무를 하려던 사람들은 개발에 방해된다는 이유로 대기업과 업계에서 밀려났음 몇 년 뒤 마케팅이 자기 일이라고 여기는 사람이 많아졌다면 그렇게 된 이유가 있음 윤리 문제 때문에 모델을 재훈련하기보다 윤리팀을 투자자 목표에 정렬할 가능성이 훨씬 큼. 돈이 어디서 나오는지를 보면 답이 보임 결국 남는 사람도 사변적 글을 쓰던 이들일 수 있고, 훗날 그 책에서 확인하게 될 듯함 이들의 목표는 존중하지만, 노력의 방향이 현실에 맞지 않고 잘못 배치됐다고 봄 Google의 Gemma 논문에서는 화학·생물학·방사능·핵(CBRN) 위험을 평가하려고 분야별 전문가가 악의적 행위자를 연기하며 모델로 실행 가능한 계획을 만들고 과학적·물류적 타당성을 채점했음. 모델은 상세하고 정확한 정보를 주기도 했지만 실제 악용에는 너무 포괄적이고 추상적이라는 결론이었음 단순화하면 “폭탄 만드는 법”을 검색해 화약과 폭발물 제조법을 얻는 수준을 CBRN 지원 능력 시험으로 삼은 셈임. 모델팀의 잘못이라기보다 AI 연구 공동체가 실제 위협이 전개되는 평범한 현실과 멀리 떨어져 집단사고와 상상력 부족에 빠진 결과로 보이며, 최선을 다하지만 감당할 역량을 넘어선 상태임 AI 윤리학자들을 탁상공론이나 하던 사람으로 몰고, 그들이 OpenAI를 떠난 이유도 윤리를 우선하지 않는 조직문화가 아니라 그들 자신의 무용함 때문이라고 보는 태도는 AI 연구소에 지나치게 관대함 윤리팀의 목표는 대규모 언어 모델의 결정이나 제안이 일으킨 문제에 면책 논리를 제공하는 것이 될 듯함 “윤리적 고려를 하도록 훈련했고 검증했다”고 말할 수 있게 업계 표준 관행을 따르고, 실효성 없는 AI 윤리 시험을 만드는 단체의 이사회에도 참여할 것임 윤리라는 배가 침몰해도 ...