가장 저렴한 MacBook에서의 빅데이터 – DuckDB

2 weeks ago 10

최신 MacBook Neo가 데이터베이스 워크로드를 얼마나 잘 처리하는지 ClickBench와 TPC-DS SF300 벤치마크로 측정한 결과를 제시
6코어 Apple A18 Pro 칩과 8GB 메모리, 512GB SSD를 탑재한 모델이 실험에 사용되었으며, DuckDB v1.5.0과 v1.4.4 LTS 버전으로 테스트 수행
ClickBench에서는 콜드 런에서 MacBook Neo가 클라우드 인스턴스보다 빠른 결과를 보였고, 이는 로컬 NVMe SSD의 빠른 접근 속도 덕분으로 분석됨
TPC-DS SF300 테스트에서는 일부 쿼리에서 디스크 스필링 80GB까지 발생했지만, 모든 쿼리를 79분 내 완료하며 안정적으로 수행
일상적인 빅데이터 작업용으로는 한계가 있으나, DuckDB 클라이언트용 노트북으로는 충분히 활용 가능함을 입증

MacBook Neo의 사양 및 테스트 목적

Apple이 출시한 MacBook Neo는 학생·작가용으로 소개되었지만, DuckDB 팀은 이를 ‘노트북에서의 빅데이터’ 철학에 맞춰 성능을 검증함
- 유럽 판매 모델에는 충전기가 포함되지 않고, 노트북 본체와 USB-C 케이블만 제공
- 선택 가능한 옵션은 256GB 또는 512GB SSD뿐이며, 테스트에는 512GB 모델 사용
8GB 메모리와 Apple A18 Pro(6코어) 칩을 탑재
- 동일 칩이 사용된 iPhone 16 Pro는 이전 테스트에서 TPC-H SF100을 10분 내 완료한 바 있음

ClickBench는 1억 행의 단일 테이블에서 43개 쿼리를 수행하는 분석형 데이터베이스 벤치마크
- Parquet 형식으로 14GB, CSV로 75GB 크기
DuckDB v1.5.0을 macOS용으로 포팅해 실행, 메모리 제한을 5GB로 조정하여 스왑 의존도를 줄임
비교 대상:
- MacBook Neo (2P+4E 코어, 8GB RAM)
- AWS c6a.4xlarge (16 vCPU, 32GB RAM)
- AWS c8g.metal-48xl (192 vCPU, 384GB RAM)

콜드 런 결과:
- MacBook Neo가 모든 쿼리를 1분 이내 완료, 중간값 0.57초로 가장 빠른 성능
- 클라우드 인스턴스는 네트워크 스토리지 지연으로 인해 느린 결과
핫 런 결과:
- MacBook Neo의 총 실행 시간은 약 10% 개선
- c8g.metal-48xl이 전체적으로 가장 빠르지만, MacBook Neo는 c6a.4xlarge보다 중간값 기준 우수
- 총 실행 시간은 c6a.4xlarge보다 약 13% 느림

DuckDB v1.4.4 LTS 버전 사용, 메모리 제한 6GB 설정
SF100:
- 중간 쿼리 시간 1.63초, 전체 15.5분 소요
SF300:
- 중간 쿼리 시간 6.90초
- 디스크 스필링 최대 80GB 발생
- 쿼리 67번이 51분 소요, 전체 79분 내 모든 쿼리 완료

지속적인 빅데이터 처리용으로는 디스크 I/O(1.5GB/s) 와 8GB 메모리가 제약 요인
- Air·Pro 모델(3–6GB/s) 또는 다른 OS 기반 노트북이 더 적합
그러나 클라우드에서 DuckDB를 실행하고 로컬은 클라이언트로 사용하는 경우, MacBook Neo는 충분히 유용
- 간헐적 로컬 데이터 처리에도 안정적으로 대응 가능