데이터브릭스, 운영·분석 데이터 통합 아키텍처 공개...AI에이전트 겨냥

[디지털투데이 황치규 기자]데이터브릭스가 16일(현지시간) 트랜잭션 데이터베이스와 분석 시스템을 통합하는 새로운 데이터 아키텍처를 공개했다.

데이터브릭스는 샌프란시스코에서 개최한 연례 컨퍼런스 데이터+AI 서밋에서 트랜잭션 DB와 분석을 통합한 레이크 트랜잭셔널/애널리티컬 프로세싱(LTAP) 아키텍처와 별도 시스템 없이 밀리초 단위 응답을 내는 실시간 분석 엔진을 공개했다.

회사 측에 따르면 LTAP는 데이터 레이크에 저장된 하나의 데이터로 운영과 분석 작업을 동시에 처리한다. 애플리케이션, 분석 시스템, AI 에이전트가 같은 데이터에 접근할 수 있어, 기존에 운영·분석 환경을 이어주는 CDC(Change Data Capture) 파이프라인과 , 운영 시스템 데이터를 분석용 시스템으로 옮겨 담는 ETL(Extract·Transform·Load: 추출, 전환, 적재) 처리, 복제 데이터베이스가 필요 없다고 회사 측은 설명했다.

AI 에이전트는 실시간에 가깝게 데이터를 읽고 분석하고 실행하기 때문에 기존 아키텍처는 AI 에이전트 시대에 맞지 않는다는 입장이다.

실리콘앵글에 따르면 샹쿠 니요기 데이터브릭스 제품관리 부사장은 "에이전트는 사람보다 빠르게 데이터를 분석하고 실행해야 한다. 이로 인해 데이터 스택이 병목이 되고 있다"고 말했다.

기업들은 오랫동안 트랜잭션과 분석 처리에 별도 시스템을 운영해왔다. 운영 애플리케이션은 트랜잭션 데이터베이스에 데이터를 기록하고, 분석 시스템은 ETL과 CDC 파이프라인을 거쳐 그 복사본을 가져다 쓴다. 데이터브릭스는 이같은 구조가 지연과 복잡성, 거버넌스 문제를 일으키며 AI 애플리케이션이 늘수록 문제가 커진다고 지적했다.

니요기 부사장은 한 대형 은행 고객이 현재 수십만 개 포스트그레 데이터베이스를 운영하며, 각각의 CDC 파이프라인을 통해 데이터를 레이크로 가져온다고 전했다.

LTAP는 지난해 선보인 데이터브릭스 데이터베이스 플랫폼 레이크베이스에 기반한다. 트랜잭션 데이터를 델타레이크, 아파치 아이스버그 같은 개방형 컬럼형 포맷에 직접 기록하면서 포스트그레 DB와 호환성을 유지한다.

데이터브릭스는 실시간 분석 엔진 레이크하우스//RT도 함께 공개했다. 신형 실행 엔진 레이든 기반으로, 소규모 작업은 최저 10밀리초, 대규모 작업은 100밀리초 이하 응답 속도를 낸다는게 회사측 설명이다.

LTAP는 레이크베이스 고객들에 업그레이드로 제공한다. 레이크하우스//RT는 베타 테스트에 들어갔으며, 기존 레이크하우스 고객은 현재 구독으로 이용할 수 있다.

데이터브릭스, 운영·분석 데이터 통합 아키텍처 공개...AI에이전트 겨냥

가격대별 인기 장기 렌트카

장기렌트 인기TOP