- Hopsworks는 AWS의 높은 egress 비용을 줄이기 위해 2024년 4분기에 OVHCloud로 성공적으로 이전했으며 비용을 62% 절감함
- 특히 네트워크 송신 비용은 AWS에서 1TB당 $90이 들었던 반면, OVH에서는 1TB당 $11로 1/8 수준에 불과해 전체 비용 절감의 주요 요인이 되었음
- AWS는 성숙한 생태계와 높은 신뢰성을 제공하지만, OVHCloud는 간단한 가격 구조와 더 저렴한 비용으로 경쟁력 있는 성능을 제공함
-
관리형 Kubernetes: AWS → 시간당 $0.10/클러스터 ($72/월) / OVHCloud → 무료
-
네트워크 송신 비용: AWS → 1TB당 $90 / OVHCloud → 1TB당 $11 (로컬 존에서는 무료)
-
S3 스토리지: AWS → 1TB당 $2300/월 / OVHCloud → 1TB당 $800/월
-
Put/Get 요청 비용: AWS → 1억 건당 $566 / OVHCloud → 무료
-
컨테이너 레지스트리: AWS → 5TB당 $212/월 / OVHCloud → 5TB당 $212/월 (600GB는 $44/월)
-
가용 영역 간 데이터 전송: AWS → 100TB당 $2000 /** OVHCloud → 무료**
-
EBS 인스턴스: AWS → 1TB당 $81.92/월 → OVHCloud / 1TB당 $97.28/월
Hopsworks 소개
-
Hopsworks는 대규모 AI 시스템을 개발 및 운영하기 위한 오픈 플랫폼
- 모든 Kubernetes 클러스터에서 배포 가능 (퍼블릭 클라우드, 독립형 데이터 센터 포함)
- AWS Sagemaker, GCP Vertex, Databricks와 같은 MLOps 플랫폼의 대안으로 사용 가능
- SIGMOD24 연구 논문에서 성능이 더 뛰어난 실시간 AI, Python과 Lakehouse의 우수한 통합성 강조
- 최초의 ML용 Feature Store로 인정받음
-
데이터 및 컴퓨팅 지원
-
Lakehouse 레이어: Delta Lake, Apache Hudi, Iceberg(곧 지원) 사용 → 대규모 히스토리컬 데이터 저장 및 배치 추론 지원
-
저지연 데이터베이스 RonDB: 실시간 AI 워크로드 및 스노우플레이크 스키마 데이터 모델 지원
-
컴퓨팅 지원: Kubernetes에서 Python, Spark, Ray 및 GPU 공유/최적화 지원
- 자체 컴퓨팅 제공 가능 → Hopsworks를 데이터 레이어로 사용해 AI 파이프라인 통합
-
모델 레지스트리 및 배포 지원: KServe/vLLM에서 모델 배포 가능
-
Hopsworks Serverless (프리미엄 버전)
- 무료 저장 공간 제공 (50GB Lakehouse 데이터, 100MB RonDB 피처 데이터)
- 최대 100개의 모델 레지스트리 및 2개 모델 배포 지원
- 대부분 무료 저장공간 제공, 컴퓨팅 자원은 무료 제공 없음 → AWS 호스팅 비용은 월 약 $8K 수준 유지 가능
AWS에서 OVH로 이전 결정 배경
-
Hopsworks Query Service 출시로 데이터 송신 비용(egress) 증가 우려
- Python 클라이언트에서 Arrow 및 DuckDB 사용 → 수백 MB ~ GB 수준 데이터 Pandas DataFrame에서 읽기 가능
- AWS의 egress 비용 급증 가능성 → 비용 상승 위험 인식
-
OVHCloud로의 이전 결정
- OVH는 유럽 기반의 클라우드 제공업체로, 필요한 모든 관리형 서비스 제공
- 관리형 Kubernetes, 관리형 컨테이너 레지스트리, S3 호환 오브젝트 스토리지 제공
- Helm Charts를 사용해 OVH에 Hopsworks 설치 → 원활하게 작동 확인
- 대부분의 사용자가 북미에 있기 때문에 북미에 OVH 인프라 유지 결정
비용 절감 효과
- OVH로 마이그레이션 후 비용 62% 절감
- AWS의 높은 egress 비용 부담 해소
- 서버리스 환경에서 저장 및 컴퓨팅 성능 유지하면서 비용 효율 개선
AWS 서비스에서 OVHCloud 서비스로 이전
- Kubernetes와 S3에 대한 의존성만 있음 → 클라우드 특정 서비스에 의존하지 않도록 설계
-
관측 스택: OpenSearch 및 OpenSearch Dashboards 기반
-
메트릭 스택: Prometheus 및 Grafana 기반
관리형 Kubernetes 서비스 비교
-
AWS와 OVHCloud 모두 관리형 Kubernetes 서비스 제공
- AWS는 성숙한 생태계와 높은 신뢰성 제공
- OVHCloud는 무료로 제공되며 비용 측면에서 유리
-
AWS에서는 Amazon Elastic Kubernetes Service (EKS)를 제공하고 있으며, 성숙하고 널리 사용되며 고가용성과 강력한 생태계를 제공함. 그러나 클러스터당 컨트롤 플레인 비용이 시간당 $0.10로, 월 약 $72의 비용이 발생함
-
OVHCloud에서는 OVHCloud Kubernetes(완전 관리형 Kubernetes)를 제공하며, 안정성이 우수하지만 etcd의 400MB 용량 제한이 일부 Kubernetes 클러스터에서 문제를 일으킬 수 있음. 그러나 관리형 Kubernetes의 컨트롤 플레인 비용은 무료임
네트워크 송신 비용 비교
-
OVHCloud는 네트워크 송신 비용이 매우 저렴
- OVHCloud는 일부 새로운 리전에서만 송신 비용 발생 (AWS의 1/8 수준)
-
많은 클라우드 리전에서 송신 비용이 무료 (2025년 3월 기준)
-
AWS는 송신 비용이 매우 높아 비용 부담 발생
-
AWS에서는 전 세계에서 서비스 제공하며, 데이터 송신 비용은 GB당 $0.09로, 1TB 전송 시 월 $90의 비용 발생
-
OVHCloud에서는 유럽 및 북미에서 서비스 제공
- "로컬 존"에서는 송신 비용 무료
- 기타 리전에서는 GB당 $0.011로 1TB 전송 시 $11의 비용 발생
S3 스토리지 서비스 비교
-
AWS S3는 신뢰성 및 가용성이 높지만 비용이 높음
- AWS는 클라우드 기반 객체 저장소 서비스에서 최고 수준의 성능 제공
- OVHCloud S3는 신뢰성은 유지하면서 비용은 AWS 대비 약 3분의 1 수준
-
AWS S3는 가장 신뢰성이 높은 서비스로 평가되며, 저장 비용은 GB당 $0.023로 100TB 저장 시 월 $2300의 비용 발생
- Put, Copy, List, Post는 1000건당 $0.005, GET, SELECT는 1000건당 $0.0004로 1억 건의 작업 시 월 약 $566의 비용 발생
-
OVHCloud S3는 신뢰성이 우수하고 저장 비용이 저렴함
- 저장 비용은 GB당 $0.008로 100TB 저장 시 월 $800의 비용 발생
- Put/Get 작업에 대한 비용은 무료
컨테이너 레지스트리 서비스 비교
-
AWS ECR은 성숙하고 확장 가능한 관리형 서비스
- 고도로 확장 가능하며 설정이 유연함
- OVHCloud Harbor는 고정된 요금제로 확장성에 제한이 있을 수 있음
-
AWS ECR은 확장 가능하고 성숙한 서비스 제공
- 저장 비용은 GB당 $0.10로, 5TB 저장 시 월 $212의 비용 발생
- 서비스 전반적으로 OVHCloud보다 우수한 성능 제공
-
OVHCloud Harbor는 동시 연결 수에 제한(45 또는 90개) 존재
- 저장 비용은 600GB에 월 $44, 5TB에 월 $212 발생
- 5TB 이상의 저장 용량에 대한 유연한 확장이 불가능함
가용 영역 간 데이터 전송 비용 비교
-
Hopsworks는 가용 영역(AZ) 장애에 견딜 수 있도록 인스턴스 간 서비스 복제 수행
- 다른 가용 영역에 있는 인스턴스 간 네트워크 트래픽 발생
-
AWS에서는 데이터 전송 비용이 GB당 $0.02 발생 (송신 $0.01 + 수신 $0.01)
- 100TB 전송 시 월 $2000의 비용 발생
-
OVHCloud에서는 가용 영역 간 데이터 전송 비용 무료
EBS 인스턴스 비교
-
Hopsworks는 영구 볼륨이 필요한 서비스에 EBS(Block Storage) 사용
- AWS는 Elastic Block Storage 사용
- OVH는 Ceph 기반의 Block Storage 사용
- 일부 인스턴스는 로컬 NVMe 디스크 사용 → OVH는 소형 스토리지(1~4TB)에 대해 더 높은 처리량 제공
-
AWS는 더 다양한 인스턴스를 제공하지만 NVMe 로컬 스토리지는 대형 디스크에서만 사용 가능
- 비용은 GB당 $0.08로, 1TB당 월 $81.92 발생
-
OVHCloud는 인스턴스의 종류는 적지만 소형 스토리지에서 NVMe 성능 우수
- 비용은 GB당 $0.095로, 1TB당 월 $97.28 발생
실제 마이그레이션 과정
-
유지 보수 일정 안내
- 2024년 11월 26일, 24시간 동안 유지 보수 창 공지
-
백업 및 마이그레이션 진행
- Hopsworks 클러스터를 AWS S3 버킷에 백업 후 OVHCloud의 S3 버킷으로 마이그레이션
- 일부 다운타임 발생했지만 문제 없이 마이그레이션 완료
-
테스트 및 운영 재개
- Helm charts로 OVH에서 Hopsworks 클러스터 배포
- 테스트 프로세스를 거쳐 문제 없음 확인 후 로그인 재개
- 마이그레이션 후 사용자 계정 문제 발생 없음
요약
-
2024년 4분기에 AWS에서 OVHCloud로 수천 명의 사용자 전환 완료
- OVH와 Hopsworks는 모두 유럽에서 개발된 기술이지만, Hopsworks 서버리스 서비스는 대부분의 사용자가 있는 북미에서 제공됨
- OVH의 단순하고 낮은 가격 구조가 매력적
- 네트워크 송신 비용뿐만 아니라 대부분의 서비스 비용이 더 저렴함
- 전반적인 서비스 품질도 우수함