TurboQuant: 극단적 압축으로 AI 효율성을 재정의

• TurboQuant은 대규모 언어 모델과 벡터 검색 엔진을 위한 이론적으로 검증된 양자화 알고리듬 세트로, 성능 손실 없이 극단적 압축을 달성함
• Quantized Johnson-Lindenstrauss(QJL) 와 PolarQuant을 결합해 KV 캐시 병목을 완화하고 벡터 검색 효율을 높임
• QJL은 1비트 부호 표현으로 메모리 오버헤드를 제거하며, PolarQuant은 극좌표 기반 표현으로 데이터 정규화 과정을 생략함
• 실험 결과, TurboQuant은 KV 메모리 6배 축소, 최대 8배 속도 향상, 정확도 유지를 동시에 달성함
• 이 기술은 Gemini 등 LLM의 효율 향상과 의미 기반 검색 가속화에 기여하며, AI 압축 연구의 새로운 기준을 제시함

TurboQuant의 개요

• TurboQuant은 대규모 언어 모델(LLM)과 벡터 검색 엔진을 위한 이론적으로 검증된 양자화 알고리듬 세트로, 극단적인 압축을 실현함
• 기존 벡터 양자화의 메모리 오버헤드 문제를 해결하며, 성능 손실 없이 메모리 사용량을 대폭 절감함
• Quantized Johnson-Lindenstrauss(QJL) 와 PolarQuant 알고리듬을 결합해 KV 캐시 병목 현상 완화와 벡터 검색 효율 향상을 달성함
• 세 알고리듬 모두 검색 및 AI 모델의 압축 기반 응용 분야에서 높은 효율성을 보임

TurboQuant의 작동 방식

• TurboQuant은 정확도 손실 없이 모델 크기를 크게 줄이는 압축 방식으로, KV 캐시와 벡터 검색 모두에 적합함
• 두 단계로 구성됨
  • 1단계: PolarQuant 기반 고품질 압축
    • 데이터 벡터를 무작위 회전시켜 기하 구조를 단순화하고, 각 부분에 표준 양자화기를 적용
    • 대부분의 비트를 사용해 원본 벡터의 주요 개념과 강도를 포착
  • 2단계: QJL 기반 잔여 오차 제거
    • 남은 오차를 1비트로 표현해 편향을 제거하고, 정확한 어텐션 스코어 계산을 가능하게 함

QJL: 1비트 기반 무오버헤드 압축

• QJL은 Johnson-Lindenstrauss 변환을 이용해 고차원 데이터를 축소하면서 데이터 간 거리와 관계를 유지함
• 각 벡터 요소를 부호 비트(+1 또는 -1) 로 줄여, 메모리 오버헤드가 없는 고속 표현을 생성함
• 고정밀 쿼리와 저정밀 데이터 간의 균형을 유지하는 특수 추정기(estimator) 를 사용해 정확도를 보장함
• 이를 통해 모델은 어텐션 스코어 계산 시 정확도 손실 없이 효율적으로 작동함

PolarQuant: 각도 기반의 새로운 압축 접근

• PolarQuant은 기존 좌표계(X, Y, Z) 대신 극좌표계(polar coordinates) 를 사용해 벡터를 표현함
• 벡터를 반지름(데이터 강도) 과 각도(데이터 의미) 로 분리함
• 각도의 분포가 예측 가능하므로 데이터 정규화 과정이 불필요함
• 이를 통해 기존 양자화 방식의 메모리 오버헤드를 제거함

실험 및 결과

• TurboQuant, QJL, PolarQuant을 LongBench, Needle In A Haystack, ZeroSCROLLS, RULER, L-Eval 등 표준 장문 컨텍스트 벤치마크에서 평가함
• Gemma와 Mistral 같은 오픈소스 LLM을 사용한 결과, TurboQuant은 도트 프로덕트 왜곡(distortion) 과 리콜(recall) 모두에서 최적 성능을 달성하며 KV 메모리 사용량을 최소화함
• Needle-in-haystack 테스트에서도 정확도 손실 없이 KV 메모리 6배 축소를 달성함
• 3비트 양자화만으로도 학습이나 미세조정 없이 정확도를 유지하며 기존 모델보다 빠른 실행 속도를 확보함
• H100 GPU에서 4비트 TurboQuant은 32비트 비양자화 키 대비 최대 8배 속도 향상을 기록함
• 벡터 검색에서도 PQ 및 RabbiQ 대비 더 높은 1@k 리콜 비율을 보이며, 대규모 코드북이나 데이터셋별 튜닝 없이도 우수한 성능을 유지함
• TurboQuant은 3비트 수준의 효율성으로 고정밀 모델과 유사한 정확도를 유지하며, 고차원 검색의 새로운 기준을 제시함

향후 전망

• TurboQuant, QJL, PolarQuant은 이론적으로 검증된 알고리듬 혁신으로, 실제 응용뿐 아니라 이론적 하한에 근접한 효율성을 입증함
• 특히 Gemini와 같은 모델의 KV 캐시 병목 해결에 유용하며, 의미 기반 검색(semantic search) 등 벡터 검색 중심의 AI 발전에도 핵심적 역할을 함
• 이 기술은 대규모 벡터 인덱스 구축 및 질의 처리를 최소 메모리, 거의 0에 가까운 전처리 시간, 최고 수준의 정확도로 수행 가능하게 함
• Google 규모의 의미 검색 속도 및 효율성 향상에 직접 기여하며, LLM과 검색 전반의 AI 통합을 가속화함
• 벡터 양자화 연구의 근본적 진전으로, 향후 AI 시스템 효율성 향상의 핵심 기반 기술로 자리함

공동 연구진

• 본 연구는 Google Research, Google DeepMind, KAIST, NYU 소속 연구자들의 협업으로 수행됨
• 참여자: Praneeth Kacham, Majid Hadian, Insu Han, Majid Daliri, Lars Gottesbüren, Rajesh Jayaram