Cache-to-Cache: LLM 간 직접 의미 전달 (2025)

Cache-to-Cache(C2C) 는 여러 LLM이 중간 텍스트 대신 KV-Cache를 교환해 각 모델의 의미 정보를 직접 전달하는 통신 방식임 기존 텍스트 기반 통신(T2T) 은 고차원 내부 표현을 문자열로 압축하면서 정보를 잃고, 자연어의 모호성과 토큰 단위 순차 생성 지연을 수반함 C2C는 신경망 기반 캐시 융합기로 원본 모델의 KV-Cache를 대상 모델의 표현 공간에 투영하고 병합하며, 학습 가능한 게이팅으로 통신 효과가 있는 대상 계층을 선택함 오라클 실험에서는 캐시 크기를 늘리지 않고 의미 정보를 풍부하게 하면 응답 품질이 개선됐으며, 모델 간 캐시 변환이 가능하고 동일 입력에 대한 의미 표현이 상호 보완적임을 확인함 실험에서 C2C는 개별 모델보다 평균 정확도가 6.4~14.2%, T2T보다 약 3.1~5.4% 높았으며, T2T 대비 지연 시간 기준 평균 2.5배 속도 향상을 보임 다중 LLM 시스템의 두 가지 협업 방식 LLM은 코딩, 수학, 시각적 이해, 엣지 컴퓨팅 등 서로 다른 영역에 초점을 맞춰 학습되며, 범용 모델도 프롬프트 엔지니어링으로 전문 역할을 수행할 수 있음 다중 LLM 시스템은 이러한 상호 보완적 강점을 활용해 단일 모델만으로 얻기 어려운 성능과 효율을 추구함 협업형 시스템에서는 역할을 부여받은 모델들이 능동적으로 텍스트 메시지를 교환하며, 부분적인 이해와 하위 문제의 해법을 모아 복잡한 문제를 해결함 라우팅 기반 추론 시스템에서는 능동적인 메시지 교환보다 문맥 상속에 의존하며, 매개변수 규모나 추론 깊이가 다른 모델을 조율함 후속 모델은 여러 차례의 대화에서 앞선 모델의 문맥을 이어받고, 대화 이력에 대한 자체적인 이해를 바탕으로 새 질문에 응답함 텍스트 통신의 세 가지 제약 정보 병목: 고차원 내부 표현을 선형 문자열로 반복 압축하고 수신 모델이 이를 다시 해석해야 함 모델의 지식이나 역할이 다르면 일부 의미 신호를 복원하지 못할 수 있음 자연어의 모호성: 관용구, 불명확한 지시 대상, 모호한 표현 때문에 의미 전달이 제한됨 에이전트 프로토콜이 메시지를 표준화하더라도 경직된 템플릿만으로 유연한 개방형 영역의 협업을 지원하기에는 부족함 순차 생성 지연: 매번 문맥을 설명하는 텍스트를 토큰 단위로 차례대로 디코딩해야 하므로 통신 지연이 발생함 Coder와 Writer의 협업 예시 Coder-Writer 개념 예시에서는 HTML의 적절한 위치에 자기소개를 삽입하는 작업으로 두...