Apple ML Research: Mac Studio에서 MLX로 Muse Spark Open 실행하기

816B 파라미터의 Muse Spark Open을 M5 Ultra Mac Studio 4대에서 실행해, 8,192토큰 문맥 기준 초당 36.73토큰을 생성함 MLX와 Thunderbolt RDMA를 결합해 여러 Mac에 모델을 분산하며, 레이어를 나누는 파이프라인 병렬화와 각 레이어의 계산을 나누는 텐서 병렬화를 지원함 단일 Mac Studio 비교에서 M5 Ultra는 M3 Ultra보다 첫 토큰 생성이 최대 4.6배, 토큰 생성 속도가 약 1.6배 빨랐으며, 각각 GPU Neural Accelerator와 메모리 대역폭 향상이 기여함 텐서 병렬화는 생성 속도를 높이지만 통신 비용이 따르며, Muse Spark Open의 65,536토큰 문맥 프리필에서는 2대 구성이 파이프라인 병렬화보다 느리고 4대 구성에서 이점이 나타남 mlx_lm.server 로 분산 모델을 로컬 서버로 제공하고 OpenCode 같은 코딩 에이전트에 연결해, 개인 환경에서 에이전트 작업을 실행할 수 있음 평가 대상과 측정 조건 MLX 는 Apple silicon의 통합 메모리를 활용하는 오픈소스 배열 프레임워크로, 자체 하드웨어의 개인 환경에서 추론, 미세 조정, 새로운 AI 기법을 실험할 수 있음 이전 M5 분석에서는 M5 아키텍처와 GPU Neural Accelerator의 장점을 다룸 MLX LM으로 M3 Ultra와 M5 Ultra Mac Studio에서 세 가지 공개 가중치 모델을 평가함 Muse Spark Open: 전체 816B, 활성 42B 파라미터의 전문가 혼합(MoE) 모델로, 원래 BF16이지만 평가에는 NVFP4를 사용함 Mistral Medium 3.5: 전체 128B 파라미터가 추론에 활성화되는 밀집 모델이며, 기본 정밀도인 FP8로 평가함 Qwen 3.8: 전체 27B 파라미터가 활성화되는 밀집 모델이며, 기본 정밀도인 BF16으로 평가함 첫 토큰까지의 시간(TTFT), 초당 생성 토큰 수, 최대 소비 전력을 mlx_lm.benchmark로 측정함 긴 문맥이 필요한 코딩 에이전트 등의 활용을 고려해 문맥 길이 8,192토큰과 65,536토큰을 평가함 디코딩 속도는 문맥 처리 후 128토큰을 생성하면서 측정했으며, 실행 예시는 배치 크기 1을 사용함 단일 Mac Studio의 성능과 전력 512GB 통합 메모리를 갖춘 단일 Mac Studio에서 Qwen 3.8과 Mistral Medium 3.5를 실행할 수 있...