RAG는 죽지 않았다

8 hours ago 2

RAG의 미래는 "더 큰 컨텍스트 창이 아니라, 더 나은 검색에 있다"

"RAG Is Dead"라는 말은 2023년식 단순 RAG 구현 방식에만 해당되며, 진짜 문제는 정보 손실이 큰 단일 벡터 기반 검색임
기존 IR 평가 지표는 RAG에 적합하지 않으며, 사실 포괄성·다양성·관련성을 중심으로 한 새로운 평가 기준이 필요함
RAG의 검색기는 단순 매칭을 넘어 지시문을 이해하고 추론 기반으로 관련 문서를 선택하는 방식으로 진화 중임
ColBERT 스타일의 레이트 인터랙션 모델은 정보 압축 없이 토큰 단위 표현을 유지해 소형 모델이 대형 모델을 능가함
완벽한 임베딩 하나를 찾는 대신, 다양한 표현을 위한 다중 인덱스와 스마트 라우팅 구조가 새로운 표준이 되고 있음

Why the future of RAG lies in better retrieval, not bigger context windows

Part 1. I don’t use RAG, I just retrieve documents - 단순 벡터 검색이 죽은 것이지, RAG 자체는 아님

Part 2. Modern IR Evals For RAG - 전통적인 IR 평가 지표가 RAG에 맞지 않음을 설명, FreshStack 제시

Nandan Thakur는 전통적인 정보 검색(IR) 평가 지표가 RAG에 적합하지 않음을 지적함
- BEIR와 같은 벤치마크는 1등 문서 탐색만을 최적화함
- RAG는 사실 커버리지, 다양한 관점, 문맥 관련성 등을 종합적으로 고려해야 함
- 이를 위한 새로운 평가 시스템으로 FreshStack을 제안함

Part 3. Optimizing Retrieval with Reasoning Models - 지시문 이해 및 추론 가능한 검색기의 설계

Part 4. Late Interaction Models For RAG - ColBERT와 같은 구조로 정보 손실 없이 표현 유지

Antoine Chaffin은 ColBERT 같은 Late Interaction 기반 모델을 통해
- 문서를 단일 벡터로 압축하지 않고, 토큰 단위 정보를 유지
- 그 결과, 150M 파라미터 모델이 7B 모델보다 추론 성능이 뛰어난 사례도 존재함
정보를 없애지 않고 보존하는 표현 구조가 핵심

Part 5. RAG with Multiple Representations - 목적별 다중 인덱스를 통한 검색 성능 향상

다음 네 가지가 RAG의 미래로 제시됨:

해당 시리즈는 5부작으로 구성되며, 주요 슬라이드에 타임스탬프를 달아서 요약 제공. 각 Part 별 링크 참고

파트 제목 설명

Part 1	I don’t use RAG, I just retrieve documents	단순 벡터 검색이 죽은 것이지, RAG 자체는 아님
Part 2	Modern IR Evals For RAG	전통적인 IR 평가 지표가 RAG에 맞지 않음을 설명, FreshStack 제시
Part 3	Optimizing Retrieval with Reasoning Models	지시문 이해 및 추론 가능한 검색기의 설계
Part 4	Late Interaction Models For RAG	ColBERT와 같은 구조로 정보 손실 없이 표현 유지
Part 5	RAG with Multiple Representations	목적별 다중 인덱스를 통한 검색 성능 향상