Elevating Kafka: Driving operational excellence with Albertsons + Forrester | Watch Webinar
데이터 파이프라인은 추가 분석을 위해 다양한 소스의 원시 데이터를 데이터 저장소로 이동시킵니다. 최신 데이터 파이프라인 시스템은 클라우드 아키텍처 전반에 걸친 데이터 수집, 처리, 필터링, 변환 및 이동 과정을 통해 ETL(추출, 변환, 로드) 프로세스를 자동화하고 장애에 대비한 복원력을 한층 더 강화합니다.
몇 분 만에 실시간 데이터 파이프라인을 구축하는 방법을 알아보세요.
수많은 소스에서 다양한 형식으로 서로 다른 클라우드 인프라 간에 데이터가 제공되므로 대부분의 조직은 엄청난 양의 데이터와 데이터 사일로를 처리하고 있습니다. 데이터에 대해 전체적이고 통합적인 시각이 없으면 심층적인 통찰력을 발견하고 효율성을 개선하며 충분한 정보에 입각한 의사 결정을 내릴 수 없습니다.
이것이 바로 데이터 파이프라인이 중요한 이유입니다. 이는 신뢰할 수 있는 비즈니스 인텔리전스, 운영 통찰력 및 분석을 위해 데이터를 중앙 집중화하는 첫 번째 단계입니다.
데이터 파이프라인이 어떻게 작동하는지 이해하기 위해 데이터 소스에서 무언가를 수신하여 대상으로 전달하는 파이프라인을 살펴보겠습니다. 조직에서 액세스, 사용 및 분석할 수 있는 저장 매체로 다양한 소스의 데이터를 전송하는 이 프로세스를 데이터 수집이라고 합니다.
데이터는 전송 과정에서 비즈니스 사용 사례와 전송 대상 자체에 따라 다른 프로세스를 거칩니다. 데이터 파이프라인은 데이터를 추출하고 로드하는 간단한 프로세스일 수도 있으며, Predictive Analytics나 머신 러닝을 위한 데이터 웨어하우스처럼 첨단 방식으로 데이터를 처리하도록 설계될 수도 있습니다.
데이터가 파이프라인을 통해 이동할 때 추출, 관리, 변환, 데이터 가상화라는 네 가지 프로세스가 발생합니다.
각 데이터 파이프라인은 하나의 데이터 세트 또는 여러 소스에서 추출한 원시 데이터 세트 모음으로 시작됩니다. 데이터는 데이터베이스 테이블, 파일 이름, topics(Kafka), 대기열(JMS)부터 파일 경로(HDFS)에 이르기까지 다양한 형식으로 제공됩니다. 이 단계에서는 데이터의 구조나 분류가 없습니다. 데이터 덤프이므로 이 원시 형식에서는 의미가 없습니다.
데이터를 사용할 준비가 되면 규모에 맞게 조직화해야 하며, 이 과정을 데이터 거버넌스라고 합니다. 원시 데이터를 비즈니스 컨텍스트에 연결하면 의미 있는 데이터가 됩니다. 그런 다음 기업은 데이터 품질과 보안을 제어하고 대규모 소비를 위해 데이터를 완전히 조직화합니다.
데이터 변환 프로세스에서는 데이터 세트를 정리하고 변경하여 올바른 보고 형식을 제공합니다. 여기에는 불필요하거나 유효하지 않은 데이터 제거, 비즈니스 요구에 따라 결정된 규정 및 규제에 따른 데이터 보강이 포함됩니다.
데이터가 변환되면 마침내 신뢰할 수 있는 데이터를 공유할 수 있습니다. 여러 당사자가 쉽게 액세스할 수 있도록 클라우드 데이터 웨어하우스나 엔드포인트 애플리케이션으로 출력되는 경우가 많습니다.
Walmart, Expedia, Bank of America에서 사용하고 있는 Confluent는 규모와 관계없이 모든 소스에서 데이터를 스트리밍할 수 있도록 설계된 단 하나의 완벽한 데이터 스트리밍 플랫폼입니다. Apache Kafka의 원 제작자들이 구축한 이 스트리밍 기술은 현재 Fortune 100대 기업의 80%가 사용하고 있습니다. 실시간 데이터 수집이 가능한 Confluent는 120개 이상의 사전 구축된 connectors를 통해 모든 시스템, 애플리케이션 또는 데이터 저장소에서 실시간 데이터 흐름을 자동화하는 대규모 스트리밍 데이터 파이프라인을 지원합니다.