실용 데이터 메시: 이벤트 스트리밍으로 탈중앙화된 데이터 아키텍처 구축하기

이벤트 스트림이 포함된 데이터 메시 아키텍처

왜 데이터 메시를 사용해야 할까요?

데이터를 최고 수준의 제품으로서 제공하는 것을 전제로 하는 데이터 메시는 조직 전반에서 중요한 데이터를 쉽게 게시하고 액세스할 수 있도록 하는 데 중점을 둡니다.이벤트 기반 데이터 메시는 실시간으로 움직이는 데이터의 규모와 성능을 제품 중심의 엄격성 및 셀프서비스 기능과 결합하여 데이터를 운영 및 분석 사용 사례의 전면과 중심에 배치합니다.

네 가지 주요 원칙을 기반으로 하는 데이터 메시는 최신 이벤트 스트리밍 기술과 결합된 사회적 책임의 재협상이라 할 수 있습니다. 그 결과, 지속적으로 업데이트되는 이벤트 스트림 네트워크를 통해 새로운 정보와 과거 기록을 모두 제공함으로써 소비자가 원하는 대로 데이터를 선택하고 사용할 수 있습니다.

저자 Adam Bellemare는 Apache Kafka®를 기반으로 구축된 이벤트 기반 데이터 메시가 어떻게 중요한 비즈니스 데이터에 액세스하고 운영 및 분석 영역을 통합하는 가장 좋은 방법을 제공하는지 설명합니다. 또한 데이터 메시 원칙과 실제 기술 절충안을 결합하여 Confluent Cloud를 사용하여 구축한 개념 증명 셀프서비스 플랫폼을 안내합니다.

실제 사례 연구를 통해 Saxo Bank의 이벤트 기반 데이터 메시 구현에 대한 도전 과제, 기술 선택, 데이터 메시 원칙 구현을 확인할 수 있습니다.

- 데이터 웨어하우스와 데이터 레이크에서 직면한 문제를 포함해 데이터 문제의 간략한 역사에 대해 알아보기 - 네 가지 주요 원칙과 이벤트 스트림에 적용되는 방법을 포함해 데이터 메시의 전체 개요 알아보기 - 데이터 제품 정렬, 소스와의 통합, 소비자 사용 사례를 위한 구축 등 데이터 제품 구축 원칙 알아보기 - 데이터 제품 소유자와 소비자를 위한 셀프서비스 플랫폼을 만들기 위한 지침을 채택하여 데이터 제품의 생성 및 관리, 검색 및 사용을 모두 간소화하기 - 이벤트 기반 데이터 메시가 운영 및 분석 사용 사례 간의 장벽을 줄이는 동시에 실시간 애플리케이션과 배치 기반 작업을 모두 지원하는 방법 알아보기 - Saxo Bank의 데이터 메시 구현 및 기술적 과제와 성공을 위한 권장 사항에 대해 알아보기 - Confluent 데이터 메시 개념 증명 셀프서비스 플랫폼을 살펴보고 소스 코드를 확인하며 직접 사용해 보기