David Sacks: OpenAI와 Anthropic은 최전선 모델의 발전 속도를 조절하는 데 규제가 필요하지 않다

Hacker News 의견들 실제로 원하는 것은 규제 준수 업체만 AI 모델을 판매하도록 제한한 뒤, 자신들은 통과하지만 소규모 연구소는 넘지 못할 수준으로 기준을 높이는 것 같음. 지금은 진입 장벽 없이 효율적인 시장이 이익률을 0으로 몰아가고 있으니, 대형 업체 입장에서는 담합이 다음 수순일 수 있음. 온갖 대상에 대한 해킹에 그토록 매달리는 이유도 이것일 수 있음. AI가 위협임을 부각해 규제로 묶은 다음, 다른 업체들이 발이 묶여 있는 동안 자신들은 자본력으로 규제를 통과하는 전략임. 미국이 실제 폭발 없이 핵무기를 시험·유지하는 방법을 확보한 뒤, 폭발을 수반하는 핵실험을 금지하려 했던 것과 비슷한 셈임. 목표는 복점·카르텔만이 유일하게 안전하고 도덕적인 길인 것처럼 자리 잡게 한 뒤, 그 카르텔이 속도와 가격을 결정하는 것임. 일반적으로 규제 포획이 작동하는 방식임. 개인적으로 LLM 열풍은 우스워 보이지만, 수조 달러의 부채를 짊어진 AI 기업들은 초대형 확장이나 능력을 의도적으로 낮춰 보이는 전략이 힘을 잃으면 선택지가 거의 없어짐. https://en.wikipedia.org/wiki/Regulatory_capture 진입 장벽이 없다는 말은 일부 맞더라도 중요한 부분을 놓침. 지금은 전체 연산 자원 규모 자체가 진입 장벽임. 다른 답글에서도 Google이 뒤처지는 이유 중 하나로 OpenAI나 Anthropic만큼의 Nvidia 연산 인프라가 없다는 점을 들었음. 두 회사가 경쟁을 서두르는 큰 이유는 재귀적 자기 개선에 먼저 도달하면 누구도 따라잡지 못할 격차를 벌릴 수 있다고 믿기 때문임. 실제로 가능한지는 아직 모르지만, 내가 보기에는 내부 구성원 상당수가 진심으로 가능하다고 믿는 듯함. 동시에 두 회사 모두 정렬 문제를 해결하지 못했고 오히려 더 멀어졌다는 사실도 이해하고 있다고 봄. 해석 가능성이 6개월마다 나빠지는 상황에서 정렬되지 않은 모델이 재귀적으로 자기 개선을 하는 것은 극도로 위험함. 규제 포획 우려는 타당하지만, Anthropic과 OpenAI가 악하다는 이야기만 반복하다 보면 실제로 타당한 위험까지 놓치게 됨. David Kokotajlo의 이 글은 규제가 포획 수단으로 악용되는지, 실제로 최첨단 개발 속도를 조절하는지 구별하는 데 도움이 됨. https://x.com/DKokotajlo/status/2099185129533186438. AI 기업들이 발전 둔화를 감지하고...