Kafka とは?
Apache Kafka は、大規模なストリーム処理、リアルタイムデータパイプライン、データ統合に使用されるオープンソースの分散型ストリーミングシステムです。2011年に LinkedIn で開発されて以降、メッセージキューから、毎秒100万件以上のメッセージ、つまり1日あたり数兆件以上のメッセージを処理できる本格的なイベントストリーミングプラットフォームへと急速に進化を遂げてきました。
Kafka は現在、フォーチュン 500 企業の 80% に採用されており、あらゆる業界に多数の利点をもたらし、大小さまざまな新しいユースケースを展開しています。
Why Kafka? Top Advantages
Kafka is used for numerous use cases across various industries and organizations. It is a preferred technology among developers and architects looking to build the latest generation of scalable real-time applications. While these can be achieved with a range of technologies available in the market, below are the reasons why Kafka is so popular.
High-throughput
Capable of handling high-velocity and high-volume data, delivering thousands of messages per second
High Scalability
Scale Kafka clusters up to a thousand brokers, trillions of messages per day, petabytes of data, hundreds of thousands of partitions. Elastically expand and contract storage and processing.
Low Latency
Can deliver these high volume of messages using a cluster of machines with latencies as low as 2ms
Permanent Storage
Safely, securely store streams of data in a distributed, durable, reliable, fault-tolerant cluster
High Availability
Extend clusters efficiently over availability zones or connect clusters across geographic regions, making Kafka highly available and fault tolerant with no risk of data loss.
How Kafka Works
Apache Kafka consists of a storage layer and a compute layer that combines efficient, real-time data ingestion, streaming data pipelines, and storage across distributed systems. In short, this enables simplified, data streaming between Kafka and external systems, so you can easily manage real-time data and scale within any type of infrastructure.
大規模なリアルタイム処理
データストリーミングプラットフォームには、データの生成と同時にそのデータを処理し、分析できる機能が欠かせません。Kafka Streams API は、強力かつ軽量なライブラリで、集計、ウィンドウパラメータの作成、ストリーム内のデータ結合などの同時処理が可能です。何よりも、Kafka をベースに Java アプリケーションとして構築されているため、メンテナンス対象のクラスタを増やすことなくワークフローを最適な状態に保てます。
耐久性のある永続ストレージ
分散型データベースに一般的な抽象化された分散型コミットログ、Apache Kafka が耐久性に優れたストレージを実現。複数のノードにデータを分散し、単一のデータセンターや複数の可用性ゾーンで高可用性のデプロイを実現できる Kafka が「信頼できる唯一の情報源」として機能します。
パブリッシュ + サブスクライブ
基盤となる控えめでイミュータブルなコミットログから、パブリッシュ/サブスクライブ型で多数のシステムやリアルタイムアプリケーションとデータをやり取り。メッセージングキューとは異なり、高度にスケーラブルでフォールトトレラントな分散型システムである Kafka は、Uber での乗客とドライバーのマッチング管理、British Gas のスマートホームへのリアルタイム分析と予測メンテナンス提供、LinkedIn 全体での無数のリアルタイムサービスの実行などに展開されています。ユニークなパフォーマンスで、1つのアプリから全社での展開まで、あらゆる規模に対応します。
Apache Kafka in Action
What is Kafka Used For?
Apache Kafka is the most popular data streaming system for developers and architects alike. It provides a powerful event streaming platform complete with 4 APIs: Producer, Consumer, Streams, and Connect.
Often, developers will begin with a single use case. This could be using Kafka as a message buffer to protect a legacy database that can’t keep up with today’s workloads, or using Kafka Connect to sync your database with an accompanying search indexing engine, to process real-time streams of data with the Streams API, aggregating data right back to your application.
In short, Kafka unlocks powerful, event-driven programming for virtually any infrastructure. Build real-time, data-driven apps and make complex back-end systems simple. Process, store, and connect your apps and systems with real-time data.
Stream Processing
Data Integration
Event-Driven Microservices
Streaming Analytics
Data Streaming
Streaming ETL Pipelines
Messaging Queues
Publish-Subscribe
Kafka のユーザー層
Kafka Use Cases
Kafka Use Cases
Kafka Quick Start Guide
Kafka 101 Course
Kafka Definitive Guide
To Maximize Kafka, You Need Confluent
Founded by the original developers of Kafka, Confluent delivers the most complete distribution of Kafka with Confluent, improving Kafka with additional community and commercial features designed to enhance the streaming experience of both operators and developers in production, at massive scale.
You love Apache Kafka®, but not managing it. Confluent's cloud-native, complete, and fully managed service goes above & beyond Kafka so your best people can focus on what they do best - delivering value to your business.
Cloud-Native
We’ve re-engineered Kafka to provide a best-in-class cloud experience, for any scale, without the operational overhead of infrastructure management. Confluent offers the only truly cloud-native experience for Kafka—delivering the serverless, elastic, cost-effective, highly available, and self-serve experience that developers expect.
Complete
Creating and maintaining real-time applications requires more than just open source software and access to scalable cloud infrastructure. Confluent makes Kafka enterprise ready and provides customers with the complete set of tools they need to build apps quickly, reliably, and securely. Our fully managed features come ready out of the box, for every use case from POC to production.
Everywhere
Distributed, complex data architectures can deliver the scale, reliability, and performance that unlocks use cases previously unthinkable, but they're incredibly complex to run. Confluent's complete, multi-cloud data streaming platform makes it easy to get data in and out of Kafka Connect, manage the structure of data using Confluent Schema Registry, and process it in real time using ksqlDB. Confluent meets our customers everywhere they need to be — powering and uniting real-time data across regions, clouds, and on-premises environments.
わずか数分で利用を開始
Confluent は、過去のデータとリアルタイムのデータを信頼できる情報源へと一元化することで、まったく新たなカテゴリーの最新イベントドリブン型アプリケーションの構築、ユニバーサルなデータパイプラインの獲得、強力なユースケースの実現を完全なスケーラビリティ、セキュリティとパフォーマンスで可能にします。
最初の4か月間に利用できる$400の無料クレジットでお試しください。クレジットカードは不要です。
Apache Kafkaは、開発者とアーキテクトの双方に最も人気のデータストリーミングシステムです。Producer、Consumer、Streams、Connect の4つの API が揃った強力な Event Streaming Platform を提供します。
一般に、開発者の Kafka 活用は単一のユースケースから始まります。例としては、現在のワークロードに対応できないレガシーデータベースを保護するメッセージバッファとしての Apache Kafka の使用のほか、Kafka Connect API でこうしたデータベースと付随する検索インデックスエンジンとの同期を保ち、Streams API でデータを到着時に処理し、アプリケーションに直接集計を表示する例などが挙げられます。
言い換えれば、Apache Kafka であらゆるインフラストラクチャに対応する強力なイベントドリブン型のプログラミングが可能となり、データドリブン型のアプリ構築や複雑なバックエンドシステムの管理がシンプルになります。Kafka の導入で、データが常にフォールトトレラントで再生可能、リアルタイムであるという安心が得られ、データの処理や保管に加え、リアルタイムのデータにアプリとシステムを接続する単一の Event Streaming Platform を通じて迅速な構築が実現します。