그래프와 LLM 북키핑 없이 AI 메모리 구현하기 - 입력 토큰 95% 절감

1 hour ago 4

LambdaDB가 대화 원문을 보존하고 질문에 필요한 구절을 검색하는 AI 메모리 구현 사례를 공개. 지식 그래프를 만들거나 생성형 LLM으로 기억을 추출, 요약, 갱신하지 않고, 검색한 원문을 답변 모델에 전달하는 방식
대화를 출처와 시각 정보가 있는 청크로 저장하고, 네이티브 임베딩, 하이브리드 검색, Jev 기반 재정렬을 활용. 질문 하나에 대한 임베딩 생성부터 검색과 재정렬까지 한 번의 검색 요청으로 처리
LongMemEval-S 500문항에서 정확도 96.0% 를 기록. 같은 답변 모델과 평가 기준으로 전체 대화를 제공한 방식의 95.2%와 비슷한 품질을 유지
평균 답변 입력은 105,183토큰에서 4,886토큰으로 95.35% 감소. 검색 메모리를 4,096토큰 예산에 맞춰 선택하고, 최근 메시지와 지시문을 함께 전달
초기 메모리 준비, 검색, 답변 생성과 LambdaDB 사용을 포함한 500건 실행 비용은 7.51~9.42달러로 추정. 전체 대화 방식의 105.53달러보다 약 91~93% 낮으며, 재정렬과 저장 비용은 모델링한 값이고 애플리케이션 호스팅과 벤치마크 채점 비용은 제외
별도 BEAM 평가에서는 그래프나 생성형 메모리 구성 없이도 past.dev 공개 결과에 근접한 품질을 기록. 대화 100개와 질문 2,000개를 평가했으며, 10만~1,000만 토큰의 네 구간 모두에서 점수 차이는 100점 만점 기준 3.1~4.4점. 대화 이력이 커져도 평균 답변 입력은 약 1만 3,000토큰으로 유지
데이터 버저닝으로 대화 분기와 체크포인트 복원 시 기존 인덱스를 재사용. 변경되지 않은 데이터와 인덱스 파일을 공유해 공통 이력을 다시 임베딩하지 않고, 분기 이후의 변경은 따로 유지
구현은 SillyTavern용 오픈소스 확장인 SillyMemory로 제공. 벤치마크 설정과 재현 명령도 공개했으며, 벤치마크 자체는 SillyTavern 없이 실행 가능

Read Entire Article

그래프와 LLM 북키핑 없이 AI 메모리 구현하기 - 입력 토큰 95% 절감

Related

Ask GN: 메모리 도구 사용 경험 있나요?

OpenAI와 Anthropic은 몇 달 만에 LLM 가격을 최대 80% 내렸다. 왜일까?

부분 순서 기반 연산자 우선순위

AI 가격 책정 및 패키징에 도대체 무슨 일이 벌어지고 있는 걸까?

Codex는 어떻게 탄생했나

Petal - 동료가 공유한 창을 내 데스크톱 창처럼 쓰는 원격 협업 앱

POSIX wordexp(3)는 위험함

Vim Classic - 사람이 직접 유지보수하는 Vim 8.x 장기 지원 포크

Tips

Popular

직장인으로서 부를 쌓는 방법

[아시안게임] 유도 김민종, 남자 100㎏이상급 동메달…2회 연속 메달

[2026 노벨상] 생리의학상…뇌에 대한 이해 바꿔놓은 이들에게

Show GN: 5달러 시계에 Claude·Codex 사용량을 띄워봤습니다

마이크론이 먼저 확인한 메모리 호황…삼성·SK하이닉스는 '비용 변수'

How DataXStream Accelerates Sales and Customer Engagement wi...

박진영, 12월 서울서 사흘간 연말 콘서트 '웨트'

방탄소년단, 자체예능 '달려라 방탄 2.0'으로 돌아온다

로민 '다큐먼트 AI 플랫폼', KISA 클라우드 보안인증 획득

Show GN: suta — AI가 생성한 UI문제를 줄이는 스킬

사진 · AI 스튜디오

운세

생활 정보

아이 · 공부

일자리 · 커뮤니티

음악 · 소리

명언 · 영감

온라인 도구

뉴스 모음

📺 유튜브 최신 영상