컨텍스트 언어 모델

Context Language Models(CLMs) 는 현재 컨텍스트를 파일로 취급하고 모델이 직접 편집하도록 해, 외부 하네스에 고정된 관리 전략 대신 필요한 정보를 스스로 유지하고 갱신함 기존 모델에 추가 학습 없이 적용한 CLM은 BrowseComp-Plus에서 가장 강력한 비교 방법보다 정확도가 상대적으로 11.4% 높으면서 연산량은 21.5% 적었고, 장시간 소프트웨어 최적화에서도 성능과 효율이 개선됨 자연어 지시와 스킬 문서 최적화로 컨텍스트 관리 방식을 바꿀 수 있으며, ContextBench에서는 미사용 평가 데이터의 정확도가 최대 35.9%p 높아지면서 연산량도 감소함 강화학습을 적용한 Qwen3.5-9B의 BrowseComp-Plus 정확도는 28.8%에서 42.5%로 상승했고, 성공한 실행 중 효율적인 실행을 보상하는 방식으로 연산량도 줄임 Suffix Cache Reuse는 컨텍스트 중간 편집 후에도 남아 있는 토큰의 캐시를 재사용해, BrowseComp-Plus 실험에서 표준 SGLang과 같은 정확도로 서버 측 연산량을 35% 절감함 외부 하네스에서 모델 자체의 컨텍스트 관리로 기존 언어 모델은 새 출력을 컨텍스트 뒤에 추가하지만, CLM은 다음 단계의 컨텍스트 전체를 모델이 제어하는 함수로 구성함 일반 언어 모델의 전이는 c(t+1) = c(t) ⊕ fLM(c(t))이며, CLM은 c(t+1) = fCLM(c(t))로 일반화함 미리 정의한 관리 도구를 선택하는 데 그치지 않고, 관리 함수 자체를 계획하거나 재사용 가능한 코드로 정의할 수 있음 기존 하네스(harness) 는 일정 길이에 도달하거나 매 턴이 끝날 때 기록을 압축하는 고정 정책을 따르며, 최근 방법들도 사람이 정의한 동작 범위 안에서 모델의 자율성을 확대함 AutoCompact와 Self-Compact는 압축 시점, Context-as-a-Tool은 미리 정한 영역의 압축을 모델이 선택하게 함 ACM은 외부 저장과 검색을, Sculptor는 조작할 컨텍스트 조각의 선택을 지원함 CLM은 이런 동작 집합의 제한을 없애고 컨텍스트 전반의 관리 권한을 모델에 부여함 Recursive Language Models(RLMs) 는 긴 입력을 REPL 변수로 두고 필요할 때 읽지만, 검색한 정보는 여전히 현재 컨텍스트에 추가되므로 컨텍스트가 지속적으로 커지는 문제를 해결하지 않음 사람이 설계한 전략을 고정하기보다 모델이 더 나은 전...