클라우데라, 엔비디아와 협력해 아파치 스파크 가속… 클라우드 비용 절감

클라우데라가 인공지능(AI)과 빅데이터 처리 과정의 고질적인 속도 저하와 비용 부담을 기존 코드 수정 없이 그래픽처리장치(GPU)를 통해 해결하는 방안을 발표했다. 클라우데라는 클라우데라 데이터 엔지니어링(CDE)에 엔비디아 쿠다-X 라이브러리인 'cuDF'를 기반으로 한 아파치 스파크 4.1용 네이티브 GPU 가속 기능을 도입한다고 20일 밝혔다. 아파치 스파크용 엔비디아 cuDF 플러그인은 최근 발표한 클라우데라 애니웨어 클라우드를 지원할 예정이다. 이를 통해 파이스파크나 SQL 코드를 수정하지 않고도 스파크 워크로드를 가속할 수 있으며, 하이브리드 환경 전반에서 클라우드 인프라 비용을 절감하면서 'AI-레디' 데이터를 빠르게 준비할 수 있다. 기업이 AI 이니셔티브를 확대하면서 데이터 준비 속도는 핵심 과제로 부상했다. 대규모 스파크 워크로드는 완료까지 수 시간이 소요되는 경우가 많아 분석과 AI 애플리케이션 도입이 지연되는 동시에 클라우드 컴퓨팅 비용도 증가한다. 클라우데라 데이터 엔지니어링에 GPU 가속 기능을 직접 통합한다면 기존 스파크 애플리케이션을 그대로 사용하면서 코드나 운영 워크플로우를 변경할 필요 없이 처리 시간을 크게 단축할 수 있다. 아파치 스파크는 기업 데이터 파이프라인의 상당수를 구동하고 있다. 클라우데라 데이터 엔지니어링에 네이티브 GPU 가속 기능을 내장함으로써 기업은 운영 워크로드에 필요한 보안 및 거버넌스를 유지하면서 성능을 향상시킬 수 있다. 클라우데라는 스파크 워크로드에 엔비디아 cuDF를 활용해 기존 CPU 인프라 대비 엔비디아 GPU에서 최대 4배의 워크로드 가속을 제공할 예정이다. 이를 통해 기업은 데이터 처리 주기를 크게 단축할 수 있다. 엔비디아 쿠다-X 라이브러리를 통해 클라우데라 데이터 엔지니어링은 아파치 스파크 4.1 워크로드를 다룰 때 기존 코드를 전혀 고칠 필요가 없는 '제로 코드' 방식으로 GPU 가속을 곧바로 적용할 수 있다. 이와 함께 분석과 인공지능(AI) 구현에 필수적인 ETL 작업과 데이터 준비 속도를 끌어올려 준다. 컴퓨팅 실행 시간이 짧아지는 만큼 자연스럽게 클라우드 인프라 비용을 줄이는 효과도 거둘 수 있다. 복잡하고 번거로운 수동 드라이버 설정 과정이 아예 필요 없도록 내장형 배포 방식을 선택했다. 여기에 클라우데라 통합 데이터 패브릭을 바탕으로 기업 수준의 강력한 보안과 거버넌스를 유지해 준다. 퍼블릭 클라우드뿐만 아니라 프라이빗 클라우...