Show HN: Llmspeed - 하드웨어 구매 전에 로컬 LLM 실행 속도를 체감하기

7 hours ago 3
  • Llmspeed는 하드웨어를 구매하기 전에 로컬 LLM이 얼마나 빠르게 동작할지 체감해 보는 서비스임
  • 하드웨어별 탐색과 모델별 탐색을 제공해 관심 있는 장비나 모델을 기준으로 살펴볼 수 있음
  • 하드웨어 목록에는 NVIDIA/AMD/Intel GPU, Mac, CPU 전용 구성, 클라우드 GPU가 포함됨
  • 속도 추정치는 단일 장치에서 짧은 프롬프트를 사용하는 조건을 기준으로 함
  • 커뮤니티 벤치마크 실측값과 유사 구성 또는 사양에 기반한 추정값을 함께 사용하며, GitHub에 소스를 공개함

하드웨어와 모델별 탐색

추정 조건과 데이터 출처

  • 수치는 단일 장치와 짧은 프롬프트 조건에 대한 추정치임
  • 실측 수치는 r/LocalLLaMA, localscore.ai 등의 커뮤니티 벤치마크에서 가져옴
  • 나머지 수치는 유사 구성에서 도출하거나 하드웨어 사양을 바탕으로 추정함
  • 프로젝트 소스는 GitHub에 오픈소스로 공개되어 있음
Read Entire Article