Confluent Platform 8.2 のご紹介：Queues for Apache Kafka®、Flink SQL、その他のテクノロジーが強化および拡張

Apache Kafka® 4.2を基盤とした Confluent Platform 8.2 がリリースされました。

このリリースでは、Apache Kafka や Apache Flink® を用いてできることがさらに拡張、そして簡素化されています。Apache Kafka 4.2 によるネイティブなタスクキュー処理、Flink SQL によるストリーム処理、さらにはクラスタ移行、アップグレード、ディザスタリカバリをこれまでのように運用負荷を増大させることなく管理できるようになりました。

このリリースの主な要点を以下に説明します。各機能の詳細はリリースノートを参照してください。

主な新機能：

• Queues for Kafka により、ストリーミング処理とタスクキューのワークロードを同時に実行可能に：ネイティブなキューのセマンティクスと、エラスティックなコンシューマスケーリングが標準で搭載されました。

• Flink SQL（正式版／GA）によりストリーム処理が簡素化：DDL（データ定義言語）、変更ログ、共有コンピュートプールを活用して、Confluent Platform for Apache Flink® 上でデータストリームのフィルタリング、結合、集約、変換が可能です。さらに、Confluent CLI や Control Center UI を通じてKafkaトピックを直接管理する宣言的な手法を利用できるようになりました。

• Flink の使いやすさが向上し、運用の複雑さが軽減：Kubernetesマルチクラスタへの対応、新しいセーブポイント管理 UI、さらに Red Hat Enterprise Linux 10（RHEL 10）および Red Hat OpenShift 環境のネイティブサポートにも対応しています。

Queues for Kafka：Apache Kafka におけるネイティブなキューセマンティクス

Kafka はこれまでも常にリアルタイムデータの基盤であり、大量のイベントを信頼性と拡張性に優れる方法で処理するエンジンとして利用されてきました。しかし、タスク処理のワークロードを構築する場合には課題がありました。コンシューマの拡張にはパーティションの拡張が必要であり、遅いメッセージが 1 つあると、後続の処理がすべてブロックされてしまうこともありました。また、メッセージ単位の確認応答もありませんでした。そのため、多くのチームは回避策を講じたり、独自に仕組みを追加したり、あるいはその制約を受け入れて運用してきました。

Confluent Platform において Queues for Kafka が一般提供（GA）されたことで、この状況は変わります。Kafka が初めてキューセマンティクスをネイティブにサポートし、弾力的なコンシューマ拡張、メッセージ単位の確認応答、タスクレベルの処理制御が可能になりました。これにより、Kafka 上で直接構築できるワークロードの幅が大きく広がります。新たな他システムで運用する必要はありません。信頼されてきた Kafka が、これまで以上に多くのことを実現できるようになります。

Queues for Kafka コンポーネントの概要：共有グループおよびメッセージ単位のセマンティクスによるコンシューマの共有

SQLのように簡単にステートフルなストリーム処理が可能に

データの移動と同様に、データの処理も重要です。バージョン 8.2 では、Flink SQL が Confluent Platform for Apache Flink® において一般提供（GA）となりました。Flink SQL 自体は以前からエコシステムの一部でしたが、この正式リリースはデータを扱う方法における大きな転換点となります。単に Flink を実行するだけでなく、Confluent CLI や Control Center を通じて、ストリーム処理全体を管理できる、緊密に統合された宣言的な環境を提供する方向へと進化しています

このリリースでは、開発者のエクスペリエンスがさらに成熟し、これらのワークロードを実行できる環境や方法も拡張されています。

• 宣言的なストリーム管理：一般提供（GA）となったことで、Confluent Platform for Apache Flink® は Flink SQL のサポートを通じて SQL のエクスペリエンスを簡素化しました。CREATE TABLE、DROP TABLE、ALTER TABLE といった DDL に新たに対応し、標準的な SQL 構文と変更ログ（append/upsert/retract）を用いて、Kafka トピック、スキーマ、ウォーターマーク戦略を管理できるようになりました。これにより、データアナリストやデータエンジニアは、ストリーミングデータのクエリ、集約、結合を容易に行い、リアルタイムで洞察を得て分析できます。

• 共有プールによるリソース効率化：SQL 向けに「共有」のコンピュートプールを導入し、クエリの送信を高速化するとともに、インフラコストの最適化を可能にしました。単一の Flink セッションクラスタ内で複数の SQL ステートメントを実行できるため、アプリケーション全体で CPU やメモリの利用効率を最大化できます

• 運用の柔軟性：Confluent Platform for Apache Flink® は、現時点でKubernetesマルチクラスタ対応が一般提供（GA）されている唯一のFlinkサービスです。これにより、オンプレミスおよびクラウドサービスプロバイダ環境にまたがるKubernetesクラスタを、単一のConfluent Manager for Apache Flink（CMF）インスタンスから管理できます。この統一的なアプローチにより、大規模なFlink展開の管理に伴う複雑さと運用負荷を大幅に軽減します。また、Confluent Platform for Apache Flink® は OpenShift認証も取得しており、Red Hatエコシステムを標準基盤としている組織や、複数の環境を併用する企業でも、スムーズに導入できます

• オンプレミスでのクラウドネイティブ運用：複数のクラスタにまたがるFlinkアプリケーションを管理できるようになり、セーブポイントの作成などのライフサイクル管理のタスクもCMFインターフェースから直接実行できるようになりました

Flink SQL を第一級オブジェクトとして扱うことで、SQL を理解しているユーザーであれば、Java や Scala の専門知識がなくても、高性能でステートフルなストリーミングアプリケーションを構築できるようになります。

Confluent は CMF バージョン 1.x の非推奨化を進めています。このバージョンを使用している場合は、後方互換性のある CMF バージョン 2.2 以降への移行が推奨されます。パッチ提供およびバグ修正のサポートは 2026 年 5 月 25 日で終了し、CMF 1.1は2026年9月で完全に非推奨となります。

Confluent Private Cloud Gateway 1.2：シームレスな移行、アップグレード、クライアントフェイルオーバー

Confluent Private Cloud は、米国ニューオーリンズで開催されたイベントのCurrentで発表された、オンプレミス環境でもクラウドのようなアジリティを求める組織向けのプレミアムソリューションです。今回の 8.2 リリースは大きなマイルストーンであると同時に、「セルフマネージド＝高い運用負荷」という従来の前提を変えていくための基盤でもあります。

Confluent Private Cloud Gateway 1.2（ゲートウェイ）のリリースでは、複雑な移行の管理や安全な外部アクセスを大幅に簡素化する新機能が追加されています。

• インテリジェントなフェンシング/フェンシング解除によるシームレスな移行とクライアントフェイルオーバー：移行、メンテナンス、災害復旧の際に、クライアントトラフィックをより細かく制御できるようになりました。ゲートウェイレベルで特定のクライアントやグループを「フェンシング」することで、クラスタ全体を停止することなく、カットオーバー時のデータ整合性を確保できます。

• プロトコルレベルでの認証切り替え：ゲートウェイは、SCRAM（Salted Challenge Response Authentication Mechanism）による認証切り替えに対応しました。これにより、クライアントはある認証情報セットでゲートウェイに接続しつつ、ゲートウェイは別の認証情報でバックエンドのブローカーと通信できます。これは、シークレットのローテーションやクラスタ移行の際に、すべてのアプリケーションチームが同時に設定を変更する必要をなくす画期的な機能です。

• 非Javaクライアント対応の拡張：ゲートウェイを通じて、非Javaクライアントのサポートが正式に拡張されました。Python、Go、.NET などで開発しているチームも、これまではJavaベースのマイクロサービスに限定されていた高可用性ルーティングやセキュリティ抽象化の恩恵を受けられるようになります。

これらのアップデートは、一般的なマネージドKafkaサービスで発生していた運用負荷（管理コスト）を軽減することを目的としています。アプリケーションを基盤となるブローカーインフラから切り離すことで、大規模環境での展開を遅らせがちな運用上の摩擦を減らし、クラスタのアップグレード、移行、再構成を柔軟に行えるようになります。詳細については、リリースノートをご確認ください。

今後に向けて、Confluentはフリート管理とマルチテナンシーにさらに注力していきます。数百のクラスタを、単一クラスタのように管理できるようにし、データの場所に関係なくクラウドのようなエクスペリエンスを提供することが目標です。今後のリリースにもぜひご期待ください。

追加機能およびアップデート 

• クロスコンテキスト認可チェックによるデータガバナンスを強化：サブジェクトのルックアップ時に未承認のスキーマアクセスを防ぎつつ、管理者プリンシパルには細かな例外設定が可能になります。

• Confluent Platform 8.2以降、Confluent Cloud Schema Registry はAvroバージョン 1.12 を使用：このバージョンでは、データの整合性と互換性を確保するため、デフォルトで厳格なネームスペース検証が導入されています。詳細はこちらをご覧ください。

• ネイティブなデッドレターキュー（DLQ）のサポートにより、より堅牢なパイプラインを構築可能に：不正または処理できないレコードを自動的に別トピックへリダイレクトし、ストリーム全体の停止を防ぎます。

• ストリームアプリケーションのより細かい運用制御を実現：ストリーム処理のタスク実行タイミングを安定して制御できるようにする機能、ローカル状態ディレクトリに対する明示的なファイルシステム権限設定、さらにstateメトリクスにおける application-id タグによる監視の改善が含まれます。

Control Center のアップデート

Confluent Platform 8.0以降、Confluent Control Centerのパッケージは「confluent-control-center-next-gen」という名称の別リポジトリで提供されています（Confluent Control Center バージョン 2.0 以降）。Control Centerは現在、Confluent Platformのリリースとは独立して提供されているため、プラットフォーム全体のアップグレードを待つことなく、新しい運用機能を利用できるようになりました。Control Center 2.5のリリースでは、以下の機能も追加されています。

• Queues for Kafka（share groups）の UI：従来のコンシューマグループと並行して、キューベースの消費パターンを可視化して管理できます。

• CMFにおけるFlink SQL UI（GA）：Control Centerから直接、Flink SQLのステートメントやジョブを管理できます。

• CMFにおけるSQL用の共有コンピュートプール UI

• Kubernetesのマルチクラスタに対応するCMFのUI：オンプレミスおよびクラウドのKubernetesクラスタを、単一のCMFインスタンスから管理できます。

• CMFのUI からのセーブポイント管理：UI上でセーブポイントの作成、一覧表示、参照、切り離し、削除が可能になりました。

• ランディングページの再設計：1 つのインスタンスから100以上のKafkaクラスタを監視でき、大規模環境においてより分かりやすくスケーラブルな運用ビューを提供します。

詳細については、サポートプランおよび互換性に関するドキュメントを参照してください。

Confluent for KubernetesおよびConfluent Ansibleのアップデート

Confluent for Kubernetes 3.2.0 は、Kubernetes上でConfluent Platformを管理するための宣言的なコントロールプレーンを引き続き提供し、バージョン 8.2.xまでをサポートします。Confluent Ansible release notes. Confluent Ansible 8.2.0 では、現代の環境に対応する新機能が追加されました。これには、RHEL 10ホストへの展開、AWS Systems Managerを利用した安全な接続管理、さらにFIPS 140-3（連邦情報処理標準）準拠の展開サポートが含まれます。詳細については、Confluent for KubernetesおよびConfluent Ansible のリリースノートを参照してください

Unified Stream Manager によって Health+ の枠を超える監視基盤へ拡張 

Confluent Platformの運用エクスペリエンスのモダナイズを進める中で、監視はローカルから、包括的なフリート全体のアプローチへと移行しています。Unified Stream Manager（USM）は、すべてのKafka環境にわたるデータインフラの監視、管理、ガバナンスを行うための標準ツールとして利用できるようになりました。

この移行に伴い、Confluent Health+は非推奨となり、ライフサイクル終了（EOL）プロセスに入ります。既存ユーザー向けには引き続き利用可能ですが、2026 年末に廃止される予定です。また、バージョン 8.1 以降（8.2 を含む）では、新規デプロイメントにおいて Health+は提供されなくなります。

USMに移行する理由

USMは単なる代替機能ではなく、大規模環境に対応する進化版です。シンプルな状態チェックを超え、環境全体を一元的に可視化でき、以下のような機能を実現します。

• 統合されたガバナンスと可観測性：カタログやデータリネージを含むエンドツーエンドの可視性を提供し、Cloud Schema Registryを活用したデータコントラクトや暗号化ルールにより、一元管理されたガバナンスポリシーを実現します。

• ハイブリッド環境の一元監視：Confluent Cloudコンソールの統合ダッシュボードを使用して、クラウドおよびオンプレミスにわたるKafkaクラスタを統一されたインターフェースから監視できます。

• 安全でシンプルな運用：安全なエージェントとプライベートネットワーク構成を通じて接続し、クラスタを最適化し、コンプライアンス対応とレジリエンスを大規模に維持するための手動作業を削減します。

現在 Health+を利用している場合は、USMへの移行を開始するタイミングです。詳細な手順やアーキテクチャ上の利点については、USM のドキュメントを参照してください。

Apache Kafka 4.2 を基盤に構築

Confluent Platform 8.2は Apache Kafka 4.2 を基盤としています。バージョン 8.0でレガシークライアントのサポートが削除されたことに伴い、Javaクライアントはバージョン 2.1.0以上である必要があります。この要件はKIP-896によるもので、古いプロトコル API バージョンが削除されたことに起因しています。2018年11月以前にリリースされた多くのクライアントが影響を受けます。詳細はリリースノートを参照してください。

現在のサポートプランは、アップグレードの準備が整うまでそのまま利用可能です。また、Confluent のプロフェッショナルサービスが、互換性のあるクライアントへの移行を支援することもできます。アップグレード手順や互換性の詳細については、Apache Kafka 4.2 アップグレードガイドを参照してください。

Apache Kafka 4.2の詳細については、こちらのブログまたは以下のリリース動画を参照してください。

今すぐ始めましょう

Confluent Platform 8.2を今すぐダウンロードください。これは、Data in Motionを実現するクラウドネイティブで包括的な唯一のプラットフォームであり、Apache Kafka の共同開発者によって構築されています。アップグレード前には、Confluent Platformアップグレードガイドおよび Kafka 4.2アップグレードガイドを確認し、詳細なステップバイステップの手順、ローリングアップグレードの考慮事項、重大な変更や互換性の問題について理解してください。

新しいキュー機能を試したい場合は、Javaクライアントの更新された KafkaShareConsumer APIを確認してください。Flinkをすぐに使い始めたい場合は、Helm を使用してCMFをインストールする新しいクイックスタートガイドを参照してください。

Confluent Private Cloudの利用を開始する準備はできましたか？すべての Confluent Private Cloud機能は正しく動作するために有効なライセンスが必要です。詳細については、Confluentのアカウントチームにお問い合わせください。

.本資料は Confluent の一般的な製品方向性を示すものであり、いかなる実体、コード、または機能の提供を確約するものではありません。本資料で説明されている機能や機能性の開発、リリース時期、提供時期、および価格は変更される可能性があります。お客様は、現在利用可能なサービス、機能、および機能性に基づいて購入判断を行ってください。

Confluent および関連するマークは、Confluent, Inc. の商標または登録商標です。

Apache®、Apache Flink®、Apache Kafka®、Kafka®、Flink® および Kafka と Flink のロゴは、米国およびその他の国における Apache Software Foundation の登録商標または商標です。これらのマークの使用は Apache Software Foundation による承認を意味するものではありません。その他のすべての商標は、それぞれの所有者に帰属します。