Janas - SSD에서 전문가를 스트리밍해 RAM보다 큰 LLM 실행

Janas-LLM은 모델 가중치를 디스크에 두고 토큰마다 필요한 전문가(expert)만 NVMe SSD에서 읽어, RAM에 다 들어가지 않는 MoE 언어 모델을 일반 컴퓨터에서 실행함 자주 사용하는 전문가는 메모리 캐시에 유지하며, GPU 없이도 동작함. 32GB RAM 노트북에서 48.4GB 크기의 Qwen3-Next-80B-A3B를 실행함 동일 노트북 비교에서 해당 모델은 초안 없이 24토큰/초를 생성했고 llama.cpp는 2.8토큰/초를 기록함. 다만 단일 기기 측정이며 두 도구의 생성 벤치마크 방식은 완전히 같지 않음 초안을 모델이 검증하는 방식으로 Qwen3-Next-80B의 채팅 생성 속도가 37토큰/초까지 올라갔지만, 초안의 효과는 텍스트와 언어에 따라 크게 달라짐 초기 실험 단계로 안정성은 검증되지 않았으며, 메모리 캐시와 집중적인 디스크 읽기가 데스크톱 응답성을 떨어뜨릴 수 있음. 공개 API와 명령줄도 예고 없이 바뀔 수 있음 SSD 스트리밍으로 메모리 한계 넘기 Janas는 C로 작성한 AI 도구 모음이며, 첫 구성 요소인 Janas-LLM은 일반 컴퓨터에서 대규모 전문가 혼합(MoE) 언어 모델을 실행함 가중치는 디스크에 두고 각 토큰에 필요한 전문가를 NVMe SSD에서 스트리밍함 반복해서 사용하는 전문가는 메모리에 남기며, GPU 유무와 관계없이 동작함 800억 매개변수 모델을 32GB RAM 노트북에서 실행하고 응답을 생성함 엔진은 실측 성능에 따라 실행 설정을 선택함 프롬프트 처리, 단일 토큰 생성, 여러 토큰의 동시 처리에 적합한 스레드 구성을 각각 탐색함 전체 사용 가능 코어, 성능 코어당 한 스레드, 성능 코어의 모든 스레드를 비교하고 이후에도 주기적으로 다른 구성을 재시험함 기기가 뜨거워지면서 최적 구성이 달라질 수 있으며, i9-14900HX 사례에서는 전체 스레드 사용 시 응답 속도가 성능 코어의 16스레드 사용 시보다 절반 이하였음 libjanas_llm은 외부 라이브러리 의존성이 없음. HTTP 서버와 MCP 관련 구성 요소에는 별도 라이브러리가 포함됨 llama.cpp 비교와 측정 범위 주요 비교는 Intel Core Ultra 9 185H, 내장 Arc GPU, 32GB DDR5 RAM, NVMe SSD를 갖춘 동일 노트북에서 수행함 Debian 13, Linux 커널 6.12.107, Mesa 26.1.6의 Vulkan 드라이버, GCC 14.2를 사용함 SSD...