탈옥한 PS5에서 llama.cpp로 모든 GGUF 모델을 콘솔에서 네이티브 실행

PS5LM은 탈옥한 PS5의 GPU에 GGUF 모델을 올려 노트북, 휴대폰, 코딩 도구가 사용하는 가정용 모델 서버로 만듦. 실행 중에는 PC, 클라우드, 계정이 필요 없음 llama.cpp의 Vulkan 백엔드로 RDNA 2 GPU를 활용하며, 모델과 컨텍스트에 공유 메모리 11.4GB를 사용할 수 있음. 지원 범위는 llama.cpp가 처리하는 아키텍처와 양자화 형식을 따름 OpenAI와 Anthropic 호환 API 및 브라우저 채팅을 제공함. Claude Code에서도 사용할 수 있고, 각 기기의 요청과 생성 중인 응답을 TV에서 실시간으로 확인 가능함 결정 모델(decision model) 은 텍스트를 생성하지 않고 한 번의 순전파로 유형이 지정된 질문에 답함. Ollaya와 같은 /v1/systemone API로 텍스트와 이미지에 대한 선택, 점수, 예/아니오 판단을 처리함 PS5 Slim 측정값은 Qwen 3.5 0.8B에서 초당 207토큰, Qwen 3.5 9B에서 초당 55토큰임. 사용하려면 펌웨어 7.00~13.60의 탈옥한 PS5와 필수 홈브루 페이로드가 필요함 TV 아래의 개인 모델 서버 PS5LM은 GGUF 모델을 콘솔 GPU에서 실행하고 로컬 네트워크의 다른 기기에 제공함 llama.cpp의 Vulkan 백엔드와 PS5의 RDNA 2 GPU를 사용함 모델과 컨텍스트용으로 공유 메모리 11.4GB를 활용함 llama.cpp가 지원하는 모든 아키텍처와 양자화 형식을 지원하되, 실제 적재는 가용 메모리에 맞춰야 함 OpenAI /v1/chat/completions 와 Anthropic /v1/messages 를 지원하며, 브라우저용 채팅 페이지도 제공함 클라이언트를 :8081">http://<console>:8081에 연결하면 되며, 모델 이름은 무엇을 지정하든 현재 적재된 모델이 응답함 opencode, Codex, Claude Code 연결 방법은 코딩 도구 사용 문서에서 확인 가능함 모델 선택, 메모리 계획과 이미지 입력 메모리 플래너가 각 GGUF를 읽고 남은 메모리에 들어가는 가장 긴 컨텍스트와 최적의 캐시 구성을 정함 Suggested 목록에는 콘솔에서 측정한 모델이 들어 있으며, 앱이 Hugging Face에서 직접 다운로드함 내부 저장소, M.2 드라이브, USB 드라이브에 저장 가능함 PC에서 GGUF 파일을 복사해 사용하는 방식도 지원함 이미지 프로젝터가 있...