데이터브릭스, 업계 최초 'LTAP' 아키텍처 출시

데이터브릭스가 업계 최초로 데이터 처리 아키텍처 'LTAP'를 선보였다고 25일 밝혔다. 기업이 데이터를 관리할 때 필연적으로 겪어야 했던 복잡한 인프라 문제와 데이터 복제 부담을 근본적으로 해결했다.

과거 기업은 운영 데이터베이스와 분석 시스템을 따로 운영하며 데이터를 옮기기 위한 ETL 파이프라인과 데이터 복제본을 유지하느라 막대한 비용과 시간을 낭비해 왔다. 하지만 LTAP는 데이터를 별도로 복제할 필요 없이 레이크 내 단일 스토리지에서 트랜잭션, 분석, 스트리밍 데이터를 모두 하나로 통합해 처리한다.

이번 아키텍처는 서버리스 포스트그레스인 '레이크베이스'와 '레이크하우스'를 결합해 모든 데이터를 단일 거버넌스 모델과 스토리지 레이어로 관리한다. 이를 통해 시스템 간 데이터 이동 없이도 데이터를 실시간으로 읽고 추론할 수 있게 됐다. 워크로드별로 성능 저하 없이 독립적으로 확장할 수 있는 것은 물론, ETL 파이프라인 자체가 필요 없어 운영 효율성도 크게 높였다.

데이터브릭스는 이번 발표와 함께 레이크베이스의 역량도 한층 강화했다. 크로스 클라우드 및 크로스 리전 재해 복구 기능을 추가해 시스템 안정성을 높였고, 깃 스타일의 브랜칭과 스냅샷 기능을 통해 운영 데이터에 영향을 주지 않고도 안전한 테스트를 지원한다. 또한 에이전트가 스스로 시스템 상태를 모니터링하고 성능을 최적화하는 자율 운영 기능도 탑재했다.

알리 고드시 데이터브릭스 CEO는 “지난 수십 년간 기업을 괴롭혔던 복잡한 데이터 인프라라는 일종의 세금을 LTAP가 완전히 제거할 것”이라며, “AI 에이전트가 실시간으로 데이터를 읽고 실행하는 시대에 맞춰 가장 효율적인 데이터 기반을 제공하겠다”고 강조했다.

이 혁신적인 기술은 이미 앙상블을 비롯한 전 세계 수천 개의 고객사에 도입되어 매일 1,200만 건 이상의 데이터베이스 실행을 처리하며 그 성능을 입증하고 있다. 데이터브릭스는 이번 LTAP 출시를 기점으로 에이전트 시대에 걸맞은 데이터 인프라 혁신을 주도하겠다는 방침이다.

최호 기자 snoop@etnews.com