이질적인 지성

OpenAI는 추론 모델의 발전이 재귀적 자기개선(RSI) 으로 이어질 수 있다고 예상하며, 정렬과 감시 역량이 지능 향상을 따라가지 못하는 만큼 개발 속도를 안전성에 맞춰 제한해야 한다고 강조함 AI는 사람이 설계한 규칙보다 대규모 최적화로 성장하는 시스템에 가까우며, 목표 달성 능력과 낯선 상황에서도 인간의 원칙을 유지하는 가치 정렬은 별개의 과제임 GPT-6 Astra는 GPT-5.6 Sol보다 정렬이 크게 개선됐지만 추가 진전이 필요하며, 복잡한 상호작용·자기 추론 조작·비언어적 능력 향상으로 사고 사슬 감시에 대한 의존도는 낮춰야 하는 상황임 강력한 AI는 사이버 공격과 악성 에이전트에 맞설 방어 시스템에 필요하지만, 이를 무제한 경쟁의 명분으로 삼아서는 안 되며 자동화된 연구를 정렬·감시와 인간의 참여 유지에 집중해야 함 어떤 연구소도 최대 속도의 확장을 장기간 책임 있게 지속할 만큼 정렬과 감시를 해결하지 못했다는 판단 아래, 자발적 감속, 공통 안전 기준의 의무화, 정부 차원의 국제 공조를 촉구함 추론 모델에서 재귀적 자기개선으로 2023년 중반 RLSlow 프로젝트에서 사전학습 모델이 자체 사고 사슬을 형성하도록 추론 모델 훈련을 확장할 수 있다는 확신을 얻음 초기 결과는 벤치마크·제품·과학적 성과에 대한 기대를 넘어, 인간보다 실질적으로 똑똑한 기계를 생전에 보게 될 수 있다는 현실과 그 중요성을 어떻게 알릴지 고민하게 만든 계기였음 3년 뒤 추론 언어 모델은 경제에서 빠르게 비중을 늘리고, 과학의 경계를 넓히기 시작함 컴퓨터와 그래픽 인터페이스를 조작하고, 사람 및 다른 AI와 협업하며, 연구 프로젝트를 수행할 수 있음 컴퓨터 보안의 지형도 바꾸고 있으며, 그 과정에서 뚜렷한 새로운 위험이 발생함 내부 결과를 근거로, 현재의 발전 속도가 재귀적 자기개선(RSI) 까지 이어질 수 있다고 강하게 기대함 현재 경로가 지속된다면 향후 몇 년간 지금과 같거나 더 큰 폭의 능력 도약이 나타나고, AI가 자체 개발을 주도하는 비중도 커질 것으로 예상함 급격한 기계 지능 상승의 결과에 누구도 준비되지 않았다는 우려 아래, OpenAI는 정렬·감시 기술과 방어 시스템을 개발하고 필요하면 독자적으로 추가 확장을 보류할 방침임 다만 개별 기업의 조치를 넘어 더 폭넓은 개입이 필요하다고 판단함 완전히 이해하지 못하는 지능의 확장 기계 지능의 발전을 이끄는 큰 축은 연산 능력 증가임 OpenAI는 2017년 무렵 ...