로컬 LLM과 오프라인 위키피디아 비교

• MIT Technology Review에서 최근 로컬 LLM 활용에 관한 기사가 소개됨
• 오프라인 환경에서 로컬 LLM과 위키피디아 데이터 다운로드 크기를 비교함
• 크기 순으로 정리한 결과, 일부 오프라인 위키피디아 번들은 작은 LLM 모델보다 더 작거나 큼
• LLM과 백과사전은 목적과 한계가 달라 단순 크기만으로 직접 비교가 어려움
• 실사용에서는 성능, 용도, 하드웨어 요구 사항 등 다양한 요소를 고려 필요함

MIT Technology Review 기사와 배경

• MIT Technology Review에서 최근 "How to run an LLM on your laptop"이라는 기사가 소개되었음
• 기사에서는 로컬에서 LLM을 실행해 오프라인 환경에서도 지식 활용이 가능하다는 점을 강조함
• Simon Willison의 언급으로 "'오프라인 LLM은 축약되고 불완전한 위키피디아와 비슷하다'는 비유**가 인상적임

로컬 LLM과 오프라인 위키피디아 크기 비교

• Ollama 라이브러리의 여러 LLM 모델과 Kiwix에서 제공하는 오프라인 위키피디아 번들 파일 크기를 비교함
• 비교를 위해 일반적인 소비자용 하드웨어에서 실행 가능한 모델과, 이미지가 없는 위키피디아 데이터로 한정함
• 주요 비교 결과는 아래와 같음 (크기 순):
  • Best of Wikipedia (상위 5만 문서, 요약 없음): 356.9MB
  • Simple English Wikipedia (요약 없음): 417.5MB
  • Qwen 3 0.6B: 523MB
  • Simple English Wikipedia: 915.1MB
  • Deepseek-R1 1.5B: 1.1GB
  • Llama 3.2 1B: 1.3GB
  • Qwen 3 1.7B: 1.4GB
  • Best of Wikipedia (상위 5만 문서): 1.93GB
  • Llama 3.2 3B: 2.0GB
  • Qwen 3 4B: 2.6GB
  • Deepseek-R1 8B: 5.2GB
  • Qwen 3 8B: 5.2GB
  • Gemma3n e2B: 5.6GB
  • Gemma3n e4B: 7.5GB
  • Deepseek-R1 14B: 9GB
  • Qwen 3 14B: 9.3GB
  • Wikipedia (요약 없음): 13.82GB
  • Mistral Small 3.2 24B: 15GB
  • Qwen 3 30B: 19GB
  • Deepseek-R1 32B: 20GB
  • Qwen 3 32B: 20GB
  • Wikipedia: 상위 1백만 문서: 48.64GB
  • 전체 Wikipedia: 57.18GB

비교시 주의사항 및 한계

• 완전히 동일한 조건의 비교가 아니므로 단순 참고용임
  • LLM과 위키피디아는 기술적 성격이 매우 다름
• 파일 크기 외에도 LLM은 메모리 및 프로세서 사용량이 크기 때문에, 저사양 하드웨어에서는 오프라인 위키피디아가 더 유리함
• 사용 목적에 따라 특정 분야의 백과사전이나, PC 사양에 맞춘 특화 LLM 선택이 더 유용할 수 있음
• 비교 대상 선정 기준은 주관적임

결론 및 관찰점

• 상위 5만 개 위키피디아 문서 크기와 Llama 3.2 3B 크기가 매우 비슷함
• 가장 작은 위키피디아 번들은 최소 LLM보다도 작고, 전체 위키피디아 파일은 가장 큰 LLM보다 큼
• 충분한 스토리지를 가진 환경에서는 LLM과 위키피디아 데이터를 모두 다운로드해 활용하는 것도 고려할 만함