같은 H100도 어디서 빌리느냐에 따라 시간당 2.69달러 또는 12.29달러

H100 SXM 80GB의 온디맨드 임대료를 GPU당 시간당 가격으로 환산하면 RunPod Community는 2.69달러, Azure ND는 12.29달러로 4.57배 차이가 남 비교는 동일 모델과 메모리 용량끼리만 수행함. H100이라는 이름으로 판매되는 SXM 80GB, PCIe 80GB, NVL 94GB를 한데 묶지 않음 가격 차이가 전부 마진은 아님. Azure ND에서 RunPod Community로 옮기면 InfiniBand, 데이터센터 SLA, 기업용 규정 준수와 용량 보장 등을 포기하게 됨 단일 노드 파인튜닝에서는 사용하지 않을 노드 간 연결망에 비용을 지불할 수 있지만, 64개 노드에 걸친 학습에서는 저렴한 선택지가 대안이 될 수 없음 비교는 온디맨드 정가와 제한된 리전 기준이며 예약, 약정, 스팟 할인을 반영하지 않음. 스팟 가격은 격차를 크게 줄일 수 있으며, 실제 GPU 확보 가능성도 별도로 확인해야 함 H100 SXM 80GB 임대료 비교 GPU당 시간당 달러로 환산한 가격과 월 730시간 연속 사용 비용은 다음과 같음 RunPod Community: 2.69달러/시간, 월 1,964달러 RunPod Secure: 3.99달러/시간, 월 2,913달러 AWS p5.48xlarge: 6.88달러/시간, 월 5,022달러 Azure ND96isr_H100_v5: 12.29달러/시간, 월 8,972달러 같은 칩의 최저가와 최고가 차이는 4.57배이며, GPU 한 개를 한 달 내내 사용하는 환산 비용은 임대 업체에 따라 1,964달러에서 8,972달러까지 벌어짐 동일 GPU와 업체별 최저가로 묶는 방식 H100이라는 이름에는 SXM 80GB, PCIe 80GB, NVL 94GB라는 서로 다른 제품이 포함되며 가격도 다름 이를 하나의 차트에 섞으면 동일 제품에는 존재하지 않는 가격 격차를 만들 수 있어, 모든 비교를 모델과 메모리 용량이 같은 그룹 안에서 수행함 같은 업체에서도 VM 구성에 따라 GPU당 가격이 달라지므로, 시장 가격 격차 계산에는 업체별로 해당 GPU를 이용하는 가장 저렴한 구성을 사용함 Azure의 A100 PCIe 80GB는 VM당 GPU 1개 구성에서 GPU당 시간당 3.67달러, 2개와 4개 구성에서는 각각 4.78달러임 Azure 내부 구성 간 차이를 업체 간 시장 격차로 계산하지 않으며, RunPod Secure와 Community는 하나의 회사로 취급함 4.57배 ...