벡터 데이터베이스여, 안녕

turbopuffer v3는 ANN 인덱스를 중심으로 문서와 다른 인덱스를 배치하던 구조를 바꾸고, ANN을 보조 인덱스로 전환하는 작업을 진행 중임 기존 구조는 객체 스토리지 기반 벡터 검색에 효과적이지만, 검색 외 용도로 확장하면서 GROUP BY와 집계 등 여러 쿼리 실행 계획의 성능을 제약해 왔음 문서를 벡터 위치에 종속해 저장하면 다중 벡터 표현에서 내용이 중복되고, 벡터 재균형 시 문서와 관련 인덱스까지 이동하는 저장 증폭과 쓰기 증폭이 발생함 ANN 클러스터 크기에 묶인 문서 배치는 벡터화 실행도 제한함. 전문 검색은 포스팅 배치를 별도로 개편해 인덱스 크기를 10분의 1로 줄이고 쿼리를 최대 20배 빠르게 만든 전례가 있음 v3는 CI 100% 통과로 정확성 검증의 주요 이정표를 넘었으며, 공개 벤치마크를 통해 기존 버전과 동등한 수준 이상의 성능을 확보한 뒤 프로덕션에 도입할 계획임 벡터 전용 데이터베이스에서 다양한 쿼리 엔진으로 turbopuffer는 매우 저렴하면서 적절히 빠른 벡터 검색에 특화한 서버리스 벡터 데이터베이스 v1으로 출발함 객체 스토리지를 원본 데이터 저장소로 삼아 비용 효율을 확보하고, 계층형 NVMe SSD/메모리 캐시로 성능을 확보함 Cursor와 Notion 등 초기 고객을 통해 이 절충 방식의 가치를 확인함 v2에서는 텍스트 검색과 정규식 검색을 강화했으며, Linear의 동기화 엔진처럼 검색 외 용도로도 사용되고 있음 쿼리 엔진은 확장됐지만 저장 구조는 대체로 그대로였음 ANN 벡터 인덱스가 기본 인덱스로 남아 다른 인덱스와 쿼리 실행 계획의 중심 역할을 해 왔음 이 구조가 GROUP BY와 집계 등의 실행 계획을 제약함 v3는 문서와 인덱스의 배치, 쓰기, 압축 병합, 조회 방식을 바꿈 벡터 검색을 포함한 검색 전반을 가속하고, 더 많은 SQL 쿼리를 turbopuffer로 옮겨 빠르게 실행할 기반을 마련하려 함 v1: ID와 벡터, ANN 주소 중심의 저장 구조 초기 문서는 ID와 벡터만으로 구성됐음 당시 널리 쓰이던 그래프 기반 벡터 인덱스보다 객체 스토리지에 잘 맞는 계층적 클러스터링 인덱스를 선택함 SPANN으로 시작한 뒤 증분 인덱싱을 지원하기 위해 SPFresh로 전환함 벡터를 묶고, 각 클러스터의 중심점을 다시 묶는 작업을 반복해 하나의 루트를 가진 트리를 구성함 저장 계층은 정렬된 고유 키를 가진 키-값 맵이며, 각 클러스터에 ClusterId, 내...