Confluent Cloud の新機能: あらゆるワークロードにコスト効率の高いストリーミング

大規模ストリーミングがさらに強力でコスト効率に優れたものになりました。弊社Q3（第3四半期）にリリースされた Confluent Cloud には、少ないリソースでより多くの成果を上げるための革新的な機能が満載されています。セキュリティを維持しながらクラウドネットワークコストを削減、引き上げられた接続制限による容易なスケーリングを実現し、シームレスなツール統合によって本番環境対応のエージェントAIを構築できます。

シンプルなA地点からB地点へのデータ移動、ミッションクリティカルなワークロードの最適化、次世代のインテリジェントアプリの構築など、Confluent Cloud は、コスト効率の高い方法で具現化するための柔軟性とツールを提供します。新しいConfluent Cloudの機能を最大限に活用するための詳細情報については、以下をお読みください。

• サーバーレスクラスターにおけるコスト削減の最大化

• Streaming Agents (オープンプレビュー版) による Apache Kafka® と Apache Flink® 上でのネイティブなイベントドリブン型エージェントの構築

• Custom Single Message Transforms とカスタムコネクタ

• Stream UserConfluent Cloud および WarpStream ユーザー向け Tableflow 機能の拡張

• Cluster Linking on Google Clouでのクラスターリンク

• 追加された新機能とアップデート

サーバーレスクラスターのコスト削減を最大化

プライベートネットワークインターフェイス

Amazon Web Services (AWS) の Enterprise クラスターと Freight クラスター両方において、プライベートネットワークインターフェイス (PNI) の一般提供開始となりました。PNI は、Amazon Elastic Kubernetes Service (EKS) や AWS Lambda といったポピュラーなサービスで採用されている、信頼性の高い AWS テクノロジーの AWS Elastic Network Interfaces (ENI) 上に構築された、安全かつ低コストなプライベートネットワークオプションです。

私たちは、Apache Kafka® をあらゆるユースケースでコスト効率の高いものにしたいと考えます。コスト最適化においては、ネットワークコストを抑えることが非常に重要です。スループットが増加すると、ネットワークコストも増加します。AWS PrivateLink のようなセキュアなネットワークオプションは強力な分離を提供しますが、エンドポイントや GB単位の料金はデータ集約型アプリケーションにとって大きな負担となる可能性があります。一方で、仮想プライベートクラウド(VPC)ピアリングは従来よりトラフィックを転送するより安価な方法でしたが、安全性が低くルーティング制約などの複雑さが生じるという問題を抱えると考えられています。

それこそが私たちが PNI を構築した理由です。ワークロードを拡張する際に、クラウドネットワーキングでチームが通常直面するコストとセキュリティ間の難しいトレードオフを排除するためです。

PNIによって、ユーザーは独自のVPC内に直接配置されたENIを介して Confluent Cloud にアクセスできます。ユーザーのアカウントからEnterpriseクラスターやFreightクラスターなどの Confluent Cloud サービスにENIをアタッチすることで独自のセキュリティグループを適用し、すべてのトラフィックを管理できるため、使い慣れているツールとポリシーで完全な制御が可能になります。また、PNIでは PrivateLink エンドポイントの時間単位、GB単位の課金が不要なため、AWS ネットワークを含むクラウドネットワークコストを大幅に削減できます。

PNI で実現可能な事:

• 基本的な AWS ネットワークプリミティブ上に構築されたセキュアでパフォーマンスの高いネットワークタイプにより、大規模なネットワークコストを約 20%-50%削減。

• 既存のセキュリティグループと使い慣れたネットワークポリシーを独自のVPC内の専用ENIに直接適用することで、 Confluent Cloud へのトラフィックをきめ細かく制御し、PrivateLinkに期待される堅牢なセキュリティを維持

• Enterpriseクラスタ上の両方のネットワークタイプに対するデュアル接続サポートによる、既存の PrivateLink 設定を妨げることなく、コスト効率の高い PNI へのシームレスな移行

PNI のリリースの一環として、両ネットワークタイプを使用するクラスターのRead/Write データ1GB あたりのスループット料金を引き下げます。 

• PNI 上のEnterpriseクラスター: スループットコストが 20% 削減 ($0.05 → $0.04/GB)

• Freightクラスター: スループットコストが 40% 削減 ($0.05 → $0.03/GB)

PNI のブログポストにて、このテクノロジーの詳細と、Indeed のような導入企業がすでに PNI を使用し、どう大幅にコスト削減を実現しデータインフラのセキュリティを強化しているかをご参照ください。

クライアントコネクション接続制限数を増加

Enterprise (新しい制限は近日公開予定) と Freight (新しい制限は現在利用可能) 両方のクラスターにおいて、クライアント接続数が大幅に増加します：

• Kafka の Elastic Confluent Unit (eCKU) あたりの合計接続数: 18,000に増加 (Enterprise では 4 倍、Freight では 2 倍の改善)

• eCKU あたりの 1 秒あたりの接続試行回数: 500 (EnterpriseとFreightの両方で 2 倍の改善)

これらの制限は専用クラスターと同等で、新規および既存のすべてのクラスターに自動的に適用され、手動での変更作業は不要です。これらの高い接続制限は、多くのクライアントが同時に接続するマイクロサービスやハブアンドスポークアーキテクチャに特に効果的です。

Streaming Agents (オープンプレビュー版) による Apache Kafka® と Apache Flink® 上でのネイティブイベントドリブンエージェントの構築

企業がより複雑な意思決定を自動化するためにエージェントAIを導入するにつれ、リアルタイムデータに基づいて行動できるエージェントのニーズが急速に高まっています。しかし、本番環境で利用可能なエージェントの構築には困難がつきまといます:

• 多くの場合、データ処理、モデル推論、オーケストレーションのためにばらばらのシステムをつなぎ合わせることが必要で、脆弱性、遅延、セキュリティリスクをもたらします。

• 最新の情報にアクセスできないと、エージェントは効果的な意思決定ができません。

• エンジニアリング チームは、AIモデルとデータ処理パイプラインを操作するために別々のツールと言語を使用することがあり、結果、ワークフローが分断されます。

これらの課題は、非効率性、配信の遅延、そして新しいAIツールや技術の登場への適応の困難さにつながります。現在オープンプレビュー版となっているConfluent Cloud上のStreaming Agents は、エージェント型AIをストリーム処理パイプラインに直接組み込むことで、これらの課題を解決します。

フルマネージドサービスの Apache Flink® とApache Kafka® をベースとする Streaming Agents は、リアルタイムデータに基づいて動作するイベントドリブンエージェントの構築、デプロイ、オーケストレーションを可能にします。他のフレームワークを使用して作成されたエージェントとは異なり、Streaming Agents はインフラストラクチャに組み込まれており、リアルタイムソースから最新のコンテキスト化されたデータにアクセスでき、状況の変化に適応し、他のエージェントやシステムと通信する能力を備えています。エージェントAIをストリーム処理パイプラインに直接組み込むことで、Streaming Agents は、複雑さの軽減、反復処理の高速化、組織全体へのインテリジェントで状況認識型の自動化をサポートします。

Streaming Agents は、以下の方法で本番環境対応のエージェントAIの構築を可能にします:

• シームレスに統合され、モデルへの接続、MCP（Model Context Protocol）によるツール呼び出し、コンテキスト検索、外部システムからのデータエンリッチメントなどが組み込まれています

• 統合データ処理とエージェントAIワークフローから最新のコンテキストにアクセスし、エージェントがリアルタイムイベントで動的に動作

• エージェントが信頼できるもので、セキュアであることを担保し、安全な接続、ロールベースのアクセス制御 (RBAC)、および管理下で追跡可能なイベントフローにより完全な可視化と制御を維持

Streaming Agents のオープンプレビュー版は、以下のような新機能で構成されています。

• MCPによるツールの呼び出し: Anthropic社のMCPを使用して外部ツール (例:SaaS アプリ、API、データベースなど) をリアルタイムで呼び出し、エージェントが完全なビジネスコンテキストと追跡可能なインタラクションに基づいてアクションを実行。

• 接続性: Flink SQLで直接、モデル、ベクトルデータベース、MCPサーバーへのセキュアで再利用可能な接続を定義し、機密性の高い認証情報をセキュアに保ち、大規模なデプロイメント向けの接続管理を一元化。

• 外部テーブルと検索: REST API、MySQL、Oracle、PostgreSQL等のJDBCアクセスが可能なデータベース、MongoDB Atlas、Elastic、Pinecone などのベクター検索データベースからの外部コンテキストを使用してストリーミングデータに付加。データの完全かつリアルタイムな可視化により、正確な意思決定と検索強化生成（RAG）を実現。

現在一般公開されているStreaming Agentsの追加機能は次のとおりです:

• AIモデルインターフェイス: Flinkにおいて、リモートモデル（例：OpenAI、SageMaker、Vertex AI）を慣れ親しんだSQL構文で呼び出すことで、AI/機械学習（ML）モデルを第一級（first-class）リソースとして直接操作し、専用のMLツールや言語の必要性を低減。

• 埋め込み: Flink SQLで埋め込みモデルを直接操作し、非構造化データを継続的にベクトル埋め込みに変換。推論時にプロンプトと連携可能なリアルタイムで文脈に沿った信頼性の高いナレッジベースを構築しRAGを実現。これにより、大規模言語モデル（LLM）の応答品質を向上させることが可能。

• Built-in ML functions: ARIMA 等の一般的な機械学習モデル上に構築された時系列予測および異常検知SQL関数を使用しリアルタイムの分析情報を引き出し、スマートで迅速な意思決定を実現。

Streaming Agents の詳細はクイックスタート、 デモ動画、より詳細なブログをご覧ください。

カスタム Single Message Transforms と カスタムコネクタ

カスタム Single Message Transforms (SMTs)

多くのユーザーがフルマネージドコネクタの利用を検討していますが、カスタム SMTをメンテナンスや運用上の問題無く導入するためのサポートを必要としていることも事実です。そこで、Confluent Cloud 向けの カスタム SMT を用意することとなりました。これにより、ユーザー独自のメッセージ変換ロジックをフルマネージドコネクタに導入できるようになります。SMTは、Kafka Connect 内でリアルタイムのメッセージ変更を可能にする軽量な Java プラグインです。ユーザーは、インフラに追加することなくフォーマット変換などの重要なデータ変換が可能です。パッケージされた SMT と社内でカスタム構築された SMT の両方をサポートしているため、カスタム SMT によって、フルマネージドコネクタを特定のビジネスニーズやコンプライアンスニーズに合わせて容易に調整できます。

カスタム SMT が実現すること:

• 独自のカスタム SMT のコードをアップロード、実行、管理し、クラウド環境内の新規または既存のフルマネージドコネクタで利用

• データが Kafka トピックに保存される前に変換または処理を可能にすることで、データセキュリティと規制の要件に対応

• カスタム SMT を包括的にサポートすることで、セルフ管理型コネクタからフルマネージドコネクタにシームレスに移行し、継続的なメンテナンスと運用の負担を軽減

Confluent Cloud 向けのカスタム SMT は現在、AWSのAWS PrivateLink、VPCピアリング、Transit Gatewayを含む主要なプライベートネットワークのすべてで利用可能です。カスタム SMT を利用することで、開発者は必要なカスタマイズし、ストリーミングデータインフラストラクチャの構築に集中できるようになります。

Google Cloud上での カスタムコネクタ

Confluent Cloud が Google Cloud 上でのカスタムコネクタをサポートし、13のリージョンで利用可能となりました。これにより、主要な3クラウドプロバイダすべてにおいて Confluent 上でカスタムコネクタをデプロイおよび実行できるようになります。開発者は、Kafka Connect 対応のカスタムコネクタを Confluent のフルマネージド環境に直接デプロイし、別途インフラストラクチャの運用が不要となります。これにより、独自システム、レガシーシステム、または特殊なシステムを容易に統合できるようになり、チームはデータから価値を引き出すことに集中できるようになります。

Confluent Cloud および WarpStream ユーザー向けの Tableflow 機能の拡張

Tableflow Upsert サポート (近日公開)

Tableflowは、upsert機能の導入により、単なる追加機能以上の進化を遂げています。upsert機能は、指定された値が既にテーブル内に存在する場合は Tableflow テーブル内の既存の行を更新し、存在しない場合は新しい行を挿入するデータベース操作です。upsertサポートにより、ユーザーはリアルタイム分析を行う際に、冗長性を排除しファイルの照合を効率化する、非常に効率的でパフォーマンスの高いデータテーブルを作成可能になります。

Upsert サポートの仕組み:Tableflow の upsert モードを使用すると、Kafka のユーザー定義キーを使用してTableflow テーブルにプライマリーとなるキーの制約を追加できます。これにより、システムは各キーの変更を追跡できるようになります。Tableflow はデータを上書きする代わりに、変更をキャプチャする削除ファイルを作成します。時間の経過、または十分な変更が蓄積されると、Tableflow は自動的にファイルを圧縮し、更新をマージして書き換えることでパフォーマンスとデータの整合性を維持します。また、「merge on read」クエリがサポートされている場合は、これらの変更をクエリ時に即座に適用できるため、結果は常にデータの最新状態を反映します。

Tableflow の upsert モードで実現可能なこと:

• ユーザー定義キーをプライマリーキーとして使用し更新と削除を自動的に追跡して適用することで、行レベルのテーブル変更を簡素化

• 「merge on read」操作により、クエリの適時性と圧縮時の複数の変更のマージの効率性のバランスを取りながら、更新時にテーブルのパフォーマンスとコスト効率を維持

• データクエリ中にリアルタイムの変更調整を行う「merge on read」クエリモードをサポートするあらゆるコンピューティングエンジンとの互換性を確保

WarpStream Tableflow (アーリーアクセス版)

WarpStream Tableflow のアーリーアクセス版が公開されました。Tableflow を WarpStream のエコシステムに提供し、オープンソースの Kafka、Confluent Platform、そして WarpStream 自体を含むあらゆる Kafka 互換ソースから、フルマネージドの Apache Iceberg™ テーブルを自動作成します。ただし、重要な違いがひとつだけあります。データはユーザー独自のクラウドオブジェクトストレージに保存され、ゼロアクセスの BYOC ネイティブ アーキテクチャにより、WarpStream がユーザーのローデータにアクセスすることはありません。

Confluent Cloud と同様に、WarpStream Tableflow は、ストリームをテーブルとして表現するプロセスを簡素化し、複雑な取り込みパイプラインや追加のインフラストラクチャを必要とせずに、分析やレイクハウスを強化します。圧縮、スキーマの進化、メタデータ管理といった複雑なテーブル管理操作も行うため、データは最新の状態を維持、クエリ実行が可能で、管理が容易です。

WarpStream Tableflow は、主要な3クラウドプロバイダー上とオンプレミス環境で動作します。アーリーアクセスプログラムへのご参加については、担当者までお問い合わせください。

Google Cloudでのクラスターリンク

Google Cloud の Enterprise クラスタと Dedicated クラスタ（Private Service Connect（PSC）と VPC ピアリングを含む）でのプライベートネットワークのサポートによりクラスターリンクの対象範囲が拡大しました。今回のリリースでは、プライベートネットワークを介して Google Cloud、AWS、Microsoft Azure 間のクラスタをリンクできるようになり、VPN トンネル、IP フィルタリング、カスタム設定を必要とせずにクラウド間のクラスタリンクが可能になります。

クラスターリンクは、パブリックとプライベートの両方のネットワーク構成、そして Enterprise と Dedicated クラスターの両方で、主要3クラウドプロバイダーすべてで利用可能になりました。安全なデータ共有を実現する場合でもDRのための構築を行う場合でも、クラスターリンクは Kafka のレプリケーションを簡素化し、セキュリティ要件を確実に満たします。

その他の新機能とアップデート

WarpStream Multi-Region Clusters

AWS で利用可能な WarpStream Multi-Region クラスター を使用すると、単一のクラスターを複数のリージョンに展開し、個別のデプロイメントを管理するコストや複雑さを伴わずにマルチリージョンアーキテクチャのレジリエンスを実現できます。WarpStream は、面倒な処理をバックグラウンドで行うため、個別のクラスターの管理やフェイルオーバーロジックの実装に伴う運用上のオーバーヘッドが排除されます。

完全に自動化された透過的なフェイルオーバーと目標復旧時点（RPO）保証により、リージョン全体の障害発生時でもデータ損失ゼロ（RPO = 0）を実現できます。99.999%の稼働率を保証するSLAを備えたこのアーキテクチャは、最も厳しいDRおよびコンプライアンス要件を満たすように構築されているため、常時利用可能なリアルタイムアプリケーションの構築に集中できます。

Freightクラスターの圧縮サポート

Freightクラスターが圧縮をサポートするようになりました。チェンジデータキャプチャ (CDC) やシステム障害後の状態復元など、トピック内の各メッセージキーの最新値のみを保持する必要のある、より幅広いリアルタイムユースケースに対応できるようになります。圧縮サポートにより、Freight クラスター上で効率的なアプリケーションを容易に構築できるようになります。さらに、圧縮されたデータに最適なコネクタとの互換性も向上します。トランザクションのサポートも今後数週間以内に開始される予定で、Freight で実現できることがさらに広がります。

新フルマネージドコネクタ

Couchbase Source と Sink コネクタ

フルマネージドのCouchbase Source およびSink コネクタは、組織がCouchbaseの NoSQLデータベースをConfluent Cloudに接続するための最適化された簡単な方法です。どちらのコネクタも少なくとも1回の配信を提供し、AWSおよびAzureのPrivate Linkをサポートしています。Couchbase Sink コネクタは、機密データに対するクライアントサイドのフィールドレベル暗号化（CSFLE）もサポートしています。詳細については、パートナーブログをご覧ください。

ClickHouse Sink コネクタ

フルマネージドの ClickHouse sink コネクタ は、データを Kafkaトピックから ClickHouseデータベースへ移動します。このコネクタは、1回限りの配信を提供し、AWS PrivateLink と Google Cloud PSC をサポートし、機密データ用のCSFLEもサポートしています。詳しくはブログをご覧ください。

MariaDB CDC Source (Debezium) コネクタ

フルマネージドの Maria DB CDC source (Debezium) コネクタは MariaDB データベース内の既存データのスナップショットを取得し、その後のすべての行レベルの変更を監視、記録します。

Flink とスキーマレジストリのために強化されたプライベートネットワーク

Azure 上の Flink および Schema Registry 向けの Confluent Cloud Network (CCN) ルーティングのサポート

本年度初頭、AWS 上の Flink および Schema Registry 向けCCN ルーティングサポートの提供開始を発表しました。そして今回、この機能を Azure にも拡張します。CCNルーティングを使用すると、既存のPrivate LinkベースのCCNインフラストラクチャを使用して、別途 PrivateLink Attachments (PLATT) を必要とせずに、Flink および Schema Registry に安全に接続できます。

本機能により特にプライベートネットワークを備えた専用クラスターを既にご利用の場合、セットアップの複雑さが大幅に軽減されます。Azure Virtual Network ピアリング ベースの CCN のサポートは今後数週間以内にリリースされる予定で、Azure におけるプライベートネットワークの選択肢がさらに広がります。

Flink の CCN ルーティングは、Flink がサポートされる全リージョンで Azure 上でご利用可能、Schema Registry は一部のリージョンで、Azure 上で利用可能です。今後数週間で、さらに多くのリージョンでサポートされる予定です。

Confluent Cloud での Flink および Google Cloud 上のスキーマレジストリ向けプライベートネットワーク

Flink のプライベートネットワークサポートを Google Cloud Enterprise クラスタとDedicated クラスタの両方に拡張できることとなりました。ユーザーはPSCおよびVPCピアリングネットワーク内の Kafka クラスタのデータにクエリを実行できるようになります。今回のリリースにより、Flink のプライベートネットワークが主要3クラウドのすべてで利用可能になり、ユーザーは Flink デプロイメント全体のセキュリティとコンプライアンスを強化できます。現在サポートされているクラウドリージョンの一覧は、こちらのドキュメントをご参照ください。

Flink のエラー処理とオブザーバビリティ機能の向上

Custom error handling for Flink（Flinkのカスタムエラー処理）により、パイプラインにおけるデシリアライゼーション(逆シリアル化)エラーの処理方法をきめ細かく制御できます。テーブルごとに3つのエラー処理モード（失敗、無視、ログ）を選択できるため、不良レコードによるデータフローの中断を防止できます。ログモードを使用すると、問題のあるレコードとエラーの詳細は、後で検査できるようにデッドレターキュー（DLQ）テーブルに自動的に送られます。カスタムエラー処理により、Flink ステートメントのレジリエンスと管理性が向上し、予期しないデータや不正なデータが発生した場合でも、アプリケーションはスムーズに実行され続けます。

Query Profiler for Flink (Flink用クエリプロファイラ)は、詳細なリアルタイムメトリクスを用いて Flink ステートメントのパフォーマンスを分析・改善し、パフォーマンスの阻害要因を特定・解決するのに役立ちます。実行中のステートメントのジョブグラフをリアルタイムで表示し、スループットや状態サイズといったタスクレベルのメトリクスを提供します。色分けされたインジケーターはパフォーマンスボトルネックの素早い特定に役立ち、詳細なパネルはタスクごとに、より詳細な分析情報を提供します。このセルフサービスツールにより、容易な問題のデバッグとパフォーマンスの最適化が可能となります。

新しい Confluent Cloud の機能で構築を始めましょう

Confluentを初めてご利用になる方は、Confluent Cloudの無料トライアル版にご登録のうえ新機能をお試しください。新規登録された方には、最初の30日間、 Confluent Cloud を400ドル分ご利用いただけます。コード「CCBLOG60」をご利用いただくと、さらに60ドル相当の無料利用枠をご利用いただけます。*

本記事は Confluent の製品開発の方向性を示すものであり、いかなる資料、コード、または機能の提供を約束するものではありません。記されている機能の開発、リリース、時期、価格は変更される可能性があります。お客様は、現在利用可能なサービス、機能、および機能に基づいて購入を判断ください。

Confluent および関連する関連する名称は Confluent, Inc. の商標または登録商標です。

Apache®、Apache Kafka®、Apache Flink®、Apache Iceberg™️、およびそれぞれのロゴは、米国およびその他の国における Apache Software Foundation の登録商標または商標です。これらの使用は、Apache Software Foundationによる推奨を意味するものではありません。その他の全ての商標は、それぞれの所有者に帰属します。