Uzu - 애플 실리콘용 고성능 AI 추론 엔진

7 hours ago 2

Apple Silicon 환경에서 AI 모델을 빠르게 실행하기 위한 Rust 기반 추론 엔진
GPU 커널 또는 CoreML 하단의 MPSGraph를 선택적으로 활용하는 하이브리드 구조
자체 포맷 모델을 사용하며, lalamo 도구를 통해 Llama3 등 다양한 모델을 변환해 사용할 수 있음
llama.cpp 대비 속도에서 대부분 우위를 보이며, 특히 Qwen3-0.6B에서는 13배 빠른 처리 속도를 기록
Swift 바인딩, CLI 인터페이스, Rust API 등을 통해 유연한 개발 및 통합이 가능함
모듈화된 구성과 애플기기의 유니파이드 메모리 활용으로 성능 극대화, 성능 검증 가능한 추론 경로 제공 등으로 신뢰성과 확장성 확보

Read Entire Article