Cerebras가 사내 지식 베이스를 구축한 방법

Slack/코드 저장소/문서/내부 데이터베이스를 기존 위치에서 직접 수집하는 Cerebras Knowledge를 구축해 출시 3개월 만에 직원/자동화/에이전트로부터 하루 15,000건 이상의 질문을 처리함 모든 데이터를 하나의 도구로 옮기는 대신 공통 스키마의 Postgres 임베딩 테이블에 연결하고, 수집/질의/인증·권한·감사·분석 계층을 분리해 새로운 데이터 소스를 쉽게 추가하도록 설계함 Slack 검색은 원문 임베딩만으로 부족해 전문 검색/임베딩 검색/역문서 빈도/시간 감쇠를 함께 사용하고, 스레드 요약과 중요한 개별 발화 묶음을 별도로 임베딩함 질의마다 LLM이 사용할 검색 도구를 먼저 계획하고 결과를 병렬 수집한 뒤 RRF와 재순위화 모델로 통합하며, MCP에서는 동일한 검색 기능을 작고 안정적인 원시 도구로 직접 공개함 조직 전체를 무조건 검색하지 않고 Slack 채널/저장소/문서 공간 등을 묶은 프로젝트 단위 검색 범위를 기본값으로 지정해 팀별로 관련성 높은 결과를 제공함 정보가 생성되는 곳에서 직접 수집 Cerebras의 데이터센터 운영/칩 설계/하드웨어/학습/추론/클라우드 플랫폼 팀에서는 매년 수백 명이 새로 합류하면서 “X는 어디에 있는가”, “Y의 전문가는 누구인가”, “Z는 무엇인가” 같은 질문이 반복됨 모든 정보를 단일 플랫폼에 기록하는 방식은 실제 업무에서 잘 작동하지 않는다고 판단함 문서의 제안 수정, Slack 스레드, GitHub 코드 참조, Jira 상태 메타데이터처럼 정보는 각 작업에 적합한 도구에서 생성됨 각 플랫폼은 오랜 제품 개발과 분석을 통해 특정 분야에 맞게 최적화돼 있어 사용 방식을 바꾸도록 강제하지 않기로 함 수집 단계에서 각 플랫폼에 직접 연결해 기존 업무 행동의 변화를 최소화함 공통 임베딩 테이블 중심의 구조 지식 베이스는 세 계층으로 구성됨 내부 데이터를 수집하고 저장하는 플랫폼 저장된 데이터를 질의하는 플랫폼 인증/권한 부여/감사/분석을 적용하는 계층 중심에는 여러 출처의 임베딩/원문 요약/메타데이터를 저장하는 단일 Postgres 테이블이 있음 Slack 스레드, 코드 저장소, 문서 시스템, 넷리스트, 맞춤형 데이터베이스가 동일한 임베딩 행 인터페이스를 사용함 각 데이터 소스는 데이터의 정의, 연결 방법, 수집 주기를 지정하며 공통 테이블에 기록되는 즉시 동일한 질의 인터페이스에서 검색 가능해짐 Cerebras 개발자가 별도의 연결기를 만들 수 있도록 데이...