GLM이 자신의 추론 인프라를 구축함

2 weeks ago 16

GLM-5.3 기반 Infra Agent가 엔지니어들과 함께 중국산 AI 가속기 10만 개 이상의 클러스터에 GLM-5.3-Flash용 프로덕션 추론 인프라를 구축함 초기 모델 적응부터 프로덕션 준비까지 2주 미만이 걸렸으며, 메모리 최적화와 추론 단계 분리 등을 통해 초기 기준 대비 종단 간 처리량을 약 3배로 높임 핵심은 코드 생성 능력뿐 아니라 원인을 추적할 수 있는 촘촘한 피드백이었음. 커널 테스트, 실행 추적, 미세 벤치마크를 연결해 에이전트가 가설을 세우고 적은 비용으로 빠르게 검증하도록 함 에이전트는 KDA 커널의 수치 정확도 오류, Python GIL로 인한 KV Transfer 동시성 병목, 중복 연산 문제를 해결했으며, 각 변경은 로컬 검증과 실제 서비스 성능 평가를 거침 모델이 자신의 실행 시스템을 개선하는 순환은 구현됐지만 재귀적 자기 개선(RSI) 에는 아직 도달하지 못함. 목표 선택, 시스템 경계 설정, 위험 평가는 여전히 사람의 책임임 코딩 도구에서 AI 인프라 구축 주체로 2025년 10월 시작한 사이버보안 역량 연구는 복잡한 코드를 이해하는 모델이 취약점도 이해할 수 있다는 판단에서 출발함 1년이 채 되기 전에 보안 파트너들이 GLM을 이용해 실제 코드베이스에서 수천 개의 취약점을 발견함 새로운 위험도 생겨나면서 책임 있는 사용을 위한 신뢰 기반 접근 프로그램을 설계해야 했음 GLM-4.7 이전에는 내부 코딩 활용에 자사 모델을 써야 한다는 의무감이 일부 작용했고, 코딩 분야의 제품 시장 적합성도 확보하지 못한 상태였음 GLM-5.3은 팀 전체에 없어서는 안 될 일상적 코딩 파트너가 됨 숙련된 인프라 엔지니어 팀이 수주간 수행할 작업을 모델이 완수하면서, 다음 세대 모델의 학습 방식에도 직접 영향을 미치기 시작함 이러한 추세가 충분한 연산 자원과 시간 아래 지속된다면, 최종적으로 후속 모델을 완전히 자율적으로 설계하고 학습하는 재귀적 자기 개선(RSI) 시스템에 이를 수 있음 이번 구축 사례는 완전한 RSI가 아니라 그 초기 형태에 해당함 10만 개 이상 가속기에서 추론 서비스를 구축한 조건과 성과 GLM-5.3-Flash의 모든 프로덕션 추론은 중국산 AI 가속기 10만 개 이상으로 구성한 클러스터 위에 처음부터 구축한 시스템에서 실행됨 이 규모의 중국산 가속기 클러스터 배포 전례가 없었으며, 칩 메모리 용량과 대역폭도 상대적으로 제한적이었음 새로운 모델 아키텍처, 100만 토큰...

Read Entire Article