저렴한 예산으로 개인용 프라이빗 AI 컴퓨터 구축

개인 AI 컴퓨터 구축하기

AI 도구 개발에 많은 돈이 투자되고 있으며, 많은 서비스가 손실을 감수하면서 운영되고 있음. 이러한 서비스들은 시장을 장악하기 위해 무료 또는 저렴하게 제공되고 있음.

DeepSeek와 같은 회사들은 그들의 모델을 무료로 공개하여 시장을 흔들고 있음. 이러한 모델들은 편향을 제거할 수 있으며, 개인 하드웨어에서 실행 가능함.

하드웨어 선택

LLM을 로컬에서 실행하려면 Nvidia의 강력한 비디오 카드나 Apple을 구입해야 함. 메모리가 많을수록 더 큰 모델을 실행할 수 있으며, 이는 출력 품질을 크게 향상시킴.

중고 장비를 구입하는 것도 하나의 방법이며, 메모리 대역폭과 다른 사양도 중요함.

예산 내 AI 컴퓨터 구축

48GB VRAM을 가진 워크스테이션을 약 1700유로에 구축함. 중고 Nvidia Tesla P40 GPU 두 개를 사용하여 비용을 절감함.

HP Z440 워크스테이션

Xeon 프로세서와 128GB RAM을 가진 HP Z440을 사용하여 프로젝트를 시작함. 이 워크스테이션은 가상 머신을 호스팅하기에 적합함.

Nvidia Tesla P40

서버용으로 설계된 Tesla P40 GPU를 사용하여 48GB VRAM을 확보함. 이 GPU는 팬이 없기 때문에 별도의 냉각 장치가 필요함.

NZXT C850 Gold 전원 공급 장치

HP Z440의 PSU를 교체해야 했으며, 850W PSU를 구입함. HP는 비표준 PSU를 사용하여 교체가 어려웠음.

Gainward GT 1030

서버 GPU는 모니터 연결 포트가 없기 때문에, BIOS를 만족시키기 위해 추가 GPU를 구입해야 했음.

Nvidia Tesla 냉각 팬 키트

GPU 냉각을 위해 팬 키트를 구입했으며, 팬 소음이 크지만 온도 조절에 효과적임.

성능 및 전력 소비

다양한 모델의 추론 속도를 테스트했으며, 전력 소비를 모니터링함. 모델을 GPU에 로드하면 지연 시간이 개선되지만 전력 소비가 증가함.

결론

프로젝트를 시작한 것에 만족하며, 중형 모델을 로컬에서 실행할 수 있는 방법을 확보함. 기존 워크스테이션을 활용하여 비용을 절감했으며, AI의 미래를 예측하기 어려운 상황에서 적절한 선택이었음.