데모 등록 | Confluent Cloud에 대한 당사의 2분기 런칭에 포함된 대규모 RBAC, Oracle CDC Source Connector 등을 지금 바로 경험해보세요

Apache Kafka® 소개

Apache Kafka는 매일 조 단위의 이벤트를 처리할 수 있는 커뮤니티 분산형 이벤트 스트리밍 플랫폼입니다. 초기에는 메시징 대기열로 구상되었던 Kafka는 분산 커밋 로그의 추상화를 기반으로 합니다. 2011년에 LinkedIn에서 만들어 오픈 소스로 배포된 이래 Kafka는 메시징 대기열에서 종합 이벤트 스트리밍 플랫폼으로 빠르게 진화했습니다.

Apache Kafka의 원래 개발자들이 설립한 Confluent는 Confluent Platform을 통해 가장 완벽한 Kafka 배포판을 제공합니다. Confluent Platform은 프로덕션에서 운영자와 개발자 모두의 스트리밍 경험을 대규모로 향상시킬 수 있도록 설계된 추가 커뮤니티 및 상용 기능으로 Kafka를 개선합니다.

Apache Kafka가 적합한 경우

Kafka가 적합한 경우

수천 개의 회사가 Kafka 기반으로 구축

Airbnb logo
Netflix
Goldman Sachs
Linkedin
Microsoft
New York Times
Intuit

Kafka가 어떻게 도움이 될까요?

발행, 구독

중심에 위치한 작고 변경 불가능한 커밋 로그를 통해 구독을 수행하고 원하는 수의 시스템 또는 실시간 애플리케이션으로 데이터를 발행할 수 있습니다. 메시징 큐와 달리 Kafka는 고도로 확장 가능한 내결함성 분산 시스템으로, Uber에서의 승객 및 운전자 매칭 관리, British Gas의 스마트 홈을 위한 실시간 분석 및 예측 유지보수 제공, LinkedIn에서의 수많은 실시간 서비스 실행과 같은 애플리케이션에 배포할 수 있습니다. 이 고유한 성능으로 인해 하나의 앱에서 전사적 용도로 확장하기에 적합합니다.

저장

분산 데이터베이스에서 일반적으로 찾을 수 있는 분산 커밋 로그의 추상화인 Apache Kafka는 내구성이 뛰어난 스토리지를 제공합니다. Kafka는 '정보 소스' 역할을 하여, 단일 데이터 센터 내 또는 여러 가용성 영역 전반에서 가용성이 뛰어난 배포를 위해 여러 노드에 데이터를 분산할 수 있습니다.

처리

이벤트 스트리밍 플랫폼의 핵심은 도착한 데이터를 바로 조작할 수 있게 하는 것입니다.Apache Kafka 내의 Streams API는 즉각적인 처리를 지원하는 강력하고 가벼운 라이브러리로, 이를 통해 집계, 윈도윙 매개변수 생성, 스트림 내 데이터 결합 수행 등을 수행할 수 있습니다. 그리고 무엇보다도, Kafka 위에 Java 애플리케이션으로 구축되어 있어 유지 관리할 추가 클러스터 없이 워크플로우를 그대로 유지할 수 있습니다.

카프카 핵심 가이드(원제: Kafka: The Definitive Guide)

실시간 데이터 피드를 처리하기 위한 분산 발행-구독 대기열인 Apache Kafka를 최대한 활용하는 방법을 배울 수 있습니다. 이 포괄적인 가이드북을 통해 Kafka의 작동 원리와 설계 방식을 이해할 수 있습니다.

Kafka the definitive guide

스트리밍을 위한 도구 세트

Apache Kafka는 시작하기 쉽고 4가지 API(Producer, Consumer, Streams 및 Connect)가 포함된 강력한 이벤트 스트리밍 플랫폼을 제공한다는 이점으로 인해 개발자에게 인기 있는 도구입니다.

개발자는 주로 단일 이용 사례로 시작합니다. 즉, Apache Kafka를 메시지 버퍼로 사용하여 오늘날의 워크로드를 따라갈 수 없는 레거시 데이터베이스를 보호하거나, Connect API를 사용하여 해당 데이터베이스를 함께 제공되는 검색 인덱싱 엔진과 동기화된 상태로 유지함으로써 Streams API를 사용하여 데이터가 도착하는 즉시 처리하여 애플리케이션에 바로 집계를 표시할 수 있습니다.

간단히 말해 Apache Kafka와 해당 API를 사용하면 데이터 기반 앱을 구축하고 복잡한 백엔드 시스템을 간단하게 관리할 수 있습니다. Kafka를 사용하면 데이터가 항상 내결함성이 있고 재생 가능하며 실시간으로 제공된다는 확신으로 안심할 수 있습니다. 실시간 데이터로 앱과 시스템을 처리, 저장 및 연결할 수 있는 단일 이벤트 스트리밍 플랫폼을 제공하여 신속하게 구축할 수 있도록 지원합니다.