Confluent CloudとWarpStreamの新機能：AI、スケーラビリティ、統制のためのデータストリーミングプラットフォームの進化

ここ数ヶ月、Confluentは自社のデータストリーミングプラットフォーム向けて、新しいコネクタからネットワーク接続性の向上、ストリーミングアプリケーションを構築するためのまったく新しい手法に至るまで、70以上の新機能をリリースしました。

私たちは決してペースを落とすことはありません。ConfluentのDSPはあらゆる分野において、これまで以上に強力で、包括的で、かつ連携の取れた形で、さらなる機能を発揮します。私たちは、最新のコンテキストに基づいたイベント駆動型エージェントの実行、ストリーミングパイプラインにおけるリアルタイムML、そしてAIツールを活用した迅速な開発と反復改善に向けたAI機能の強化を加速させていきます。 

Stream：あらゆる規模で、自信を持って、かつ容易に、あらゆる（Kafka）ワークロードをConfluent Cloudに導入

Streamは、データストリーミングプラットフォームの基礎です。DSPがビジネスのリアルタイム基盤としての役割を果たすためには、その基盤が、より幅広いワークロードを、より大規模に、優れたコスト効率と高い運用信頼性をもってサポートできる必要があります。そうすることで、パイプラインの無秩序な拡大に対処する代わりに、より多くのユースケースを1つのマネージドプラットフォームに統合することができます。 

より幅広いワークロードへの対応

Kafkaは、耐久性のあるイベントログから、パブ/サブやストリーム処理から、トランザクション、exactly-once処理、キューに至るまで、さまざまなワークロードパターンの基盤へと進化してきました。Confluentの目標は、こうした幅広い領域のサポートを拡大することです：

• 高スループットなワークロードにおいて、当社のフルマネージドディスクレスFreightクラスターのコスト効率を活用したいチーム向けに、Kafkaプロトコルの互換性を拡張し、トランザクションおよびべき等なプロデュースをサポートしました。これにより、データの重複や部分的な書き込みが許容されないアプリケーションを、より多く移行できるようになります。.

• Confluent Cloud上でKafka Streams（KStreams）アプリケーションを実行しているチーム向けに、KStreams Debug View（KStreamアドオンの一部）を追加しました。これにより、UI上でリバランス、復旧、遅延の状況をリアルタイムに把握できるため、KStreamsアプリのトラブルシューティングをより迅速に行えます。これにより、オンコール担当チームは、ツールを切り替えたり、手動でログを照合したりすることなく、アプリケーションが正常に動作しているか、復旧中か、あるいは停止しているかを、はるかに簡単に把握できるようになります。.

• Kafkaをキューベースのワークロードに拡張したいチーム向けに、以前Queues for Kafka（QfK、KIP-932）を発表しました。その後、PythonクライアントにShare Consumersを追加（プレビュー版）し、Kafkaで最も重要な言語の一つであるPythonおよびより広範なクライアントエコシステムにQfKを導入しました。 

より大規模に

Confluent Cloudを利用するアプリケーションやチームが増えるにつれ、このプラットフォームは、エンジニアがインフラの制限に合わせて設計を見直す必要なく、各企業のビジネスに合わせて成長・拡張できる必要があります。Confluent Cloudは現在、Enterpriseプランで最大32eCKU、Dedicatedプランで最大252CKU（要リクエスト、AWSのみ。Google Cloudでは152、Azureでは100）まで拡張可能となり、最も負荷の高いKafkaワークロードに対して、最大15GB/sの入力と45GB/sの出力を実現します。 

また、DedicatedクラスターにおけるShare GroupごとのShare Consumersの上限を5倍に引き上げました。これにより、チームは上限をあまり気にすることなく、特にプロセス自動化など、より幅広い用途でQFKの利用を開始できます。

経済性の向上とコスト管理の強化

Kafkaを拡張するにあたり、予測不可能なネットワークコストを受け入れたり、ピーク需要に備えて容量を過剰に確保したりする必要はありません。フォロワーのフェッチ機能とプライベートネットワークインターフェース（PNI）での通信により、EnterpriseクラスターとFreightクラスター間のデータ転送コストを削減できます。この低コストで安全なネットワーク方式をより簡単に活用していただけるよう、最近、PNIの自動設定機能を有効にしました。

コスト管理の面では、eCKUの最大構成が堅固なキャパシティのガードレールとして機能する一方、Metrics APIに追加されたいくつかの新しいメトリクス（接続数、パーティション数、クライアントのスロットリングなど）は、クライアントのクォータ決定を支援するためのeCKUスケーリングの主要な要因を明らかにします。これらを組み合わせることで、チームは予期せぬ利用状況を把握し、導入が進むにつれてキャパシティとコストを適切に管理できるようになります。

本番へ信頼感を高める

チームがワークロードを統合すればするほど、アップグレード時やインフラ障害時にそれらを保護することの重要性が高まります。Dedicatedクラスターに新たに追加されたリリース優先順位を付ける機能により、本番環境の前に非本番環境のクラスターでリリースを順次実行できるため、運用担当者はアップグレード時にも安心して作業を進めることができます。さらに、耐障害性を高めるため、Cluster Linking機能は、サポート対象のクラウド間プライベートデプロイを含めた、パブリックネットワークとプライベートネットワークを跨いだディザスタリカバリおよび高可用性がサポートされるようになりました。

容易な移行

Confluent Cloudでより多くのワークロードをサポートすることは、サービス中断を伴う切り替えや、数ヶ月にわたる調整を必要とせずにConfluent Cloudへ移行できて初めて意味があります。これまで、KCP という魔法のようなオープンソースのコマンドライン型移行オーケストレーションツールについてご紹介してきましたが、このたび、オンプレミスかクラウドかを問わず、あらゆる種類のオープンソースApache KafkaクラスターからConfluent Cloudへの移行を拡大しました。Kafka移行の最後の（そして最も長い）段階であるクライアント移行も、このツールでサポートされるようになったため、単一のリスクの高い切り替えのために数週間にわたる調整を行うことなく、アプリケーションを段階的に移行できるようになりました。

Connect：100以上のシステムと連携し、予測可能な利用状況がさらなるコスト削減を実現

過去2年間で、当社のConnectエコシステムは100以上のフルマネージドコネクタへと拡大しました。セキュリティ、可観測性、プライベートネットワーク、移行機能の各分野で機能強化が行われ、これまでにないレベルのエンタープライズ対応を実現しました。今四半期には、Debezium Google Spanner CDCソースコネクタ、Salesforce V2ソースコネクタ、Google Cloud Firestoreシンクコネクタが新たにラインナップに加わりました。

さらに、当社のコネクタをどれくらい利用するか予測可能にご利用になる予定のお客様向けに、導入初日から最低50％（最大80％）の割引を保証する新しい料金プランを導入いたします。新しい「Connect Advantage」パッケージでは、安定した月間最低利用量をコミットすることで、価格変動を抑え、予算計画を簡素化し、ワークロードの拡大に伴い運用コストを効率的に維持することができます。詳細についてお知りになりたい方や、コストの最適化をご希望の方は、担当のアカウントチームまでお問い合わせください。

Process：開発者とデータPractitionerの双方にとって、強力かつ使いやすいFlinks

Apache Flink向けにConfluent Cloudを設計する上での私たちの目標は、常にユーザーが慣れ親しんだ言語、セマンティクス、ツールセットを用いて強力なストリーム処理アプリケーションを容易に構築できるでした。それと同時に、フルマネージドのランタイム環境ならではのパフォーマンスと運用上の簡便性も確保することでした。 当初はデータエンジニア向けのFlink SQLからスタートしましたが、その後、より表現力豊かなコードファーストの制御を必要とする開発者のために、Table API、ユーザー定義関数（UDF）、プロセス・テーブル関数（PTF）といった機能でプラットフォームを拡張してきました。

GCP上のJava、およびAWS上のPython向けに最近一般提供（GA）が開始されたTable APIについてもう少し詳しく説明します。Table APIは、単一のアーキテクチャ内でSQLとコードの利点を最大限に活かし、Flink SQLやKafkaトピックとシームレスに統合できます。サーバーレスかつクラウドネイティブな運用向けに特別に構築されており、Flinkのコストベースのオプティマイザーを活用すれば、そのままの状態で低レベルのDataStream APIと同等かそれ以上のパフォーマンスを発揮します。さらに、複雑な状態のシリアライズを抽象化する組み込みのオペレーターにより、運用やメンテナンスの負担を軽減します。PTFを通じて高度なイベント駆動型のロジックがフルサポートされており、素のクラスタインフラ管理の負担なしに、きめ細かな状態やタイマーへのアクセスが可能です。Confluent CloudのTable APIを利用することで、エンジニアリングチームは、素のイベントから本番環境へのストリーム処理を加速させる、最適化された本番環境グレードのエンジンを手に入れることができます。また、SQLのシンプルさを損なうことなく、慣れ親しんだIDEワークフロー、CI/CDプラクティス、バージョン管理を活用することも可能です。

さらに、ベースラインCFU（LA）を備えた新しい拡張制御機能により、再拡張に伴う一時停止を排除することで、ビジネスに不可欠なパイプラインにおいて予測可能としたパフォーマンスを保証し、開発から大規模な本番環境への移行を加速させられます。

デベロッパーがプログラミング機能を活用して、いかにFlinkが、ミッションクリティカルなユースケースに対応しつつ、慣れ親しんだdbtやSQLベースのワークフローも維持できるようにする仕組みについてさらに詳しく知りたい場合は、Flinkの最新機能強化について詳しく解説したこの製品ブログをご覧ください。

Govern：ハイブリッドなConfluent環境に向けた、統一的かつ体系化されたガバナンス

チームがオンプレミス、プライベートクラウド、パブリッククラウドの各環境でKafkaを運用する際、ワークロードがどこで実行されていても、アプリケーションの状態を把握し、データの移動を管理し、問題に対応するための一貫した方法が必要となります。Unified Stream Manager（USM）は、これらの機能を1つの統合された運用にまとめることで、チームがハイブリッドなConfluent環境をより確信を持って管理できるようにします。

今後数週間のうちに、USMで監視・管理できる機能を拡充するアップデートがさらに4回行われる予定です：

• Kafka Streams UIを使用すると、ハイブリッド環境全体のステータス、バージョン、主要なパフォーマンス指標をUSMで一元的に把握できるため、チームはアプリケーションのトラブルシューティングをより迅速に行うことができます。チームは、各クラスタに接続されているアプリケーションを確認し、アプリケーションやスレッドの状態を詳細に分析し問題を特定できるほか、エンドツーエンドのレイテンシ、ポーリング／処理／コミットの比率、RocksDB状態ストアのメトリクスなどの指標を活用して、ボトルネックを特定することができます。

• USMはAzure Private Linkを通じたAzureのサポートが追加されました。Azure Front Doorを介してConfluent Cloudと共有されるのは、必須のメタデータ、テレメトリ、およびScheme Registryの情報のみです。

• USMのネイティブアラート機能により、チームはハイブリッドなConfluent環境全体において、問題をより迅速に検知、優先順位付け、解決できるようになりました。アラートは、メール、Slack、PagerDuty、および汎用Webhookを通じて配信され、通知画面から直接関連するUSMビューに移動して対応できます。製品内のアラート履歴を活用すればインシデントを容易に確認し、パターンを特定し、長期にわたる監査対応が可能です。また、RBAC（ロールベースのアクセス制御）により、アラートの作成や変更ができるユーザーを制限することも可能です。

• セルフマネージドおよびフルマネージドのコネクタを単一の管理画面で監視する機能は、8月末に限定提供が開始され、第3四半期後半にはアーリーアクセスが提供される予定です。既存のセルフマネージド Confluent Connect クラスタは、デプロイメントを変更することなく、USMのUI、API、またはTerraformを通じて登録できます。USMはコネクタを自動検出・特定し、そのステータスと設定を同期させるほか、コネクタ・フリート全体のコネクタステータスとエラーをリアルタイムに可視化することで、数分以内に問題を特定できるようにします。

Tableflow：強力な新機能を搭載し、大規模なエンタープライズ環境での導入が可能に

Confluent Tableflowは、今四半期、エンタープライズ環境での利用と運用を簡素化するために3つの主要機能を導入しました。外部カタログ統合のためのプライベート接続機能により、AWS PrivateLinkおよびAzure Private Linkを介したメタデータの同期が可能となり、Kafka、Tableflow、ストレージ、およびカタログへのアクセスが統一されたプライベートネットワークモデル下で一貫性を保つことで、セキュリティコンプライアンスの効率化が図られます。また、EnterpriseクラスタのTableflow向けBYOK（Bring Your Own Key）機能により、規制対象業界の企業では、スケーラブルなクラスタアーキテクチャ上でTableflowを導入しながら、独自の暗号化およびガバナンスと制御を維持することができます。さらに、実用的なエラーメッセージ、自動アラート、エクスポート可能なメトリクス、ネイティブなロギング統合など、強化されたオブザーバビリティにより、大規模なエンタープライズ・データレイク・パイプラインの一元的な監視と管理が可能になりました。

新しいConnect Advantageパッケージと同様に、当社の新しいTableflow Advantageパッケージも、最低月額利用条件を満たすトピックに対して50%の基本割引を提供しており、安定した利用状況におけるコストの予測性を確保します。有効化すると、この基本割引と標準の段階的価格設定のうち、より有利な料金が自動的に適用され、利用規模に応じて最大90%のコスト削減が可能になります。今すぐConfluentのアカウントチームにお問い合わせいただき、さらなるコスト削減を実現しましょう。 

AI：エージェントをストリームのネイティブ機能とする

Confluent Intelligenceは、リアルタイムデータ上でAIを構築するための当社のソリューションです。Confluent CloudとConfluent Platformの両方にまたがる一連の機能群であり、チームがKafkaやFlinkを基盤として、ML、GenAI、およびエージェントAIを直接構築できるようにします。AI/ML機能、Streaming Agents、Real-Time Context Engineを統合し、スケーラブルでインテリジェントなイベント駆動型AIシステムを構築できます。

その進化は、ConfluentがAIワークフローを支えるストリーミングの基盤であるだけでなく、企業が、リアルタイムでコンテキストが意識されたAIを、本番環境として構築でき、確実にサービス提供のできるプラットフォームであるということです。

AIツールは、開発者がすでに利用しているAIアシスタントやコーディングエージェントからConfluentへのアクセスを容易にすることで、これを補完します。Confluent MCPサーバーやAgent Skills、そして新たに登場したConfluent Copilotを通じて、これらのツールはチームが自然言語でストリーミングアプリケーションの構築、トラブルシューティング、運用を行えるようにし、導入時の障壁を低減するとともに、日々の管理業務を軽減します。

今四半期、IBM Granite Times Series モデルおよび TimesFM モデルへの対応を拡張し、堅牢な異常検知および予測機能を発表します。また、ユーザー向けのメトリクスを導入し、Real-Time Context Engine の利用体験を向上させました。さらに、アーリーアクセス版にあるLightning Queriesにより、マテリアライズドビューに対して超高速にクエリを実行し、現在のビジネス状況に関する最新のコンテキストを取得できるようになりました。これらすべてにより、AI を信頼性の高いデータに基づいて運用し、本番環境におけるエンタープライズ AI のユースケースを支援します。

AI関連製品に関する詳細については、ブログ記事をご覧ください。

Security：既存のセキュリティ対策範囲をConfluent Cloudに拡大

セキュリティは必須要件ですが、新しいプラットフォームが登場するたびに、新たなIDモデル、ネットワーク構成、暗号化規格、監視ワークフローが導入され、エンタープライズセキュリティの確保はますます困難になっています。Confluent Cloudを、お客様のチームがすでに利用している管理体制に適合させることで、例外を設けたり運用作業を重複させたりすることなく、ストリーミングワークロードのセキュリティを確保できるようにしたいと考えています。

静的シークレットへの依存を軽減

静的な認証情報はセキュリティリスクをもたらし、継続的な作業を必要とします。すべてのアプリケーションにおいて、その保存、ローテーション、および無効化を行う必要があります。当社の新しいOAuthプラグインを使用すると、Kafka クライアントはAWS IAMおよびAzureマネージドIDを使用して認証を行うことができ、クライアントシークレットを保存することなく、クラウドプロバイダーのマネージド IDのライフサイクルをConfluent Cloudに拡張できます。また、Enterprise、Freight、Dedicatedクラスタ向けに、証明書失効機能を備えたmTLSを導入し、証明書ベースの認証を実現しました。さらに、Kafka向けのIPフィルタリングにより、認証情報が漏洩した場合でも、パブリッククラスターへのアクセスを信頼できるネットワークに限定する、さらなるセキュリティ対策を追加しています。

その他の認証パターンについては、Secret Manager のサポートにより、フルマネージドコネクタの認証情報が既存のクラウドボルトに保管されます。依然として API キーに依存するワークフローについては、Global API キーを使用することで、サポート対象の Confluent Cloud サービスおよびクラスター全体での認証情報の散在を抑制できます。

ワークロードの実行場所の制限無くデータを保護

暗号化の要件によって、特定のクラスタタイプを強制されたり、旧式の転送規格に依存せざるを得なくなったりしてはなりません。Bring-Your-Own-Key (BYOK) により、顧客が管理する保存時の暗号化がAWS上のFreightクラスタにも適用されるようになりました。また、TLS 1.3により、Confluent Cloud全体における転送中の暗号化が強化されています。

より多くのデータパスを非公開に

プライベートなKafkaクラスタは、プライベートアーキテクチャの一部に過ぎません。コネクタ、データ処理ワークロード、ガバナンスサービス、または外部システムがその境界の外側に配置されている場合、データは依然としてパブリックネットワークを経由する可能性があります。

PNIデータ出力により、フルマネージドコネクタがクラスタの既存のPNI接続を利用して外部システムにプライベートにアクセスできるようになり、データパスごとに個別のネットワークインフラを用意する必要がなくなりました。これにより、Confluent Cloudのプライベートネットワークの対応範囲が、Kafka、Flink、Schema Registry、Unified Stream Managerへとさらに拡大するとともに、カスタムコネクタ向けのPrivateLinkのサポートや、Azureの外部モデルおよびテーブルへのFlinkからのアクセスもできるようになります。

すでに利用しているツールでの活動を調査する

監査データは、セキュリティチームが迅速にアクセスして調査できる場合にのみ有用です。当社の新しい監査ログ監視 UI により、そのワークフローが Confluent Cloud 内に直接組み込まれました。また、プッシュ型のオブザーバビリティ統合機能により、チームが独自のエクスポートパイプラインを構築・運用する必要なく、Datadog や Splunk（アーリーアクセス版）にログを送信できます。

WarpStream: BYOCのディスクレスKafkaのさらなる進化

BYOCソリューションを好むユーザーにとって、WarpStreamの最新のアップデートや機能リリースの一連の展開により、WarpStreamは引き続き、最速かつ最も信頼性が高く、最も使いやすいディスクレスKafkaソリューションであり続けています。

Lightning TopicsとRipcord Mode

Lightning Topicsにより、WarpStreamはデータがオブジェクトストレージに永続的に書き込まれるとすぐにプロデュース要求を承認できるようになり、オフセットの順序付け処理を非同期のバックグラウンド処理に委ねることで、その処理によって処理がブロックされることを回避します。S3 Express One Zoneと組み合わせることで、プロデュースのレイテンシの中央値を33ミリ秒に短縮し（70% の削減）、WarpStreamはレイテンシに敏感なワークロードにも適したソリューションとなり、市場で最速のディスクレス Kafka 互換データストリーミング製品となっています。

Ripcord Modeでは、コントロールプレーンに完全に接続できない場合でも、WarpStreamエージェントがプロデュースのリクエストを受け付け続けることができます。これは、レコードをオブジェクトストレージにジャーナリングし、接続が回復した時点で非同期的にコミットすることで実現されます。これにより、書き込みにおけるコントロールプレーンへのハードな依存関係が解消されるため、バックプレッシャーをかけたりデータを破棄したりできないアプリケーションでも、ネットワークの問題やコントロールプレーンの障害が発生しても稼働し続けることができます。

これらの機能について詳しく解説した技術解説ブログと、こちらの解説動画をご覧ください：

監査ログ

監査ログは、誰が何を変更したかについての可視性が不完全で断片化しているという、よくある課題を解決します。上記は、規制対象の環境やインシデント対応の際、深刻な問題となります。WarpStreamでは、すべての認証決定およびクラスターまたはアカウントレベルの操作を、クエリ可能なKafkaネイティブのイベントストリームとして記録します。この機能は、追加のインフラストラクチャを必要とせず、ワンクリックで有効化できます。

監査ログについてのより詳しいブログをご覧ください。

イベント

Eventsにより、お客様はWarpStreamコンソール上で、エージェントのログ、ACLの判定結果、およびマネージド・データ・パイプラインの実行ログをネイティブに検索・可視化できます。これはKafka自体を基盤として構築されたカスタムクエリエンジンによって実現されており、グローバルなステータスや個々のイベントタイプは、コンソール、API、またはTerraformを通じて設定可能です。イベントデータは顧客自身のオブジェクトストレージ内に保持され、クエリはエージェント上で直接実行されるため、チームはアウトバウンド通信コストを支払うことなく、また別途オブザーバビリティシステムを構築することなく、詳細かつ高多重度な可視性を得ることができます。

より詳細についてはこちらのブログをご覧ください。

MCPサーバー

Warpstream MCPサーバーは、Claude、Cursor、WindsurfなどのAIアシスタントをクラスターに直接接続し、30種類以上の読み取り専用ツールを提供します。これにより、IDEを離れることなく、クラスターの状態を確認したり、イベントログを検索したり、ACLの決定内容を調べたり、トピックを調査したりすることができます。これにより、「クラスタに何か問題はありますか？」や「そのACL操作を拒否したのは誰ですか？」といった一般的な運用上の質問を、手動でダッシュボードを調べたり手書きのクエリを作成したりする代わりに、自然言語のプロンプトとして入力できるようになります。

より詳細についてはこちらのブログをご覧ください。

GCPラピッドバケット

GCPラピッドバケットのサポートにより、GCP上のWarpStreamに初めて低遅延のオブジェクトストレージが導入されました。事前ウォームアップされたライタープールと未確定のファイル書き込みを活用することで、ファイル書き込み遅延を約3分の1に短縮します。これにより、WarpStreamにおけるクラウドプロバイダー間の最後の大きな遅延格差が解消され、GCPのお客様は、AWS（S3 Express One Zone）やAzure（プレミアムBlobストレージ）ですでに実現されている水準に匹敵する、全体の99%のリクエストが150ミリ秒未満の遅延で処理されることを達成できるようになりました。

このブログでは、機能についてだけでなく、その開発への取り組みについてもご紹介します。

Orbit自動移行

Orbit自動移行を使用すると、チームは調整されたメンテナンスウィンドウを設けることなく、Kafka プロデューサをソースクラスターから WarpStreamへ移行できます。各トピックがワンクリックまたは API 呼び出しで個別に移行されるまで、プロデューサはそれぞれのペースでリダイレクトされ、WarpStreamがソースへの書き込みを透過的にプロキシします。これにより、従来のような全プロデューサを一斉に停止し、レプリケーションラグを解消してから一斉に再起動するという、全メンバーが関与する高リスクな移行作業が不要となり、トピックごとに段階的に低リスクで移行を行うことが可能になります。また、レプリケーションラグが時間内に解消されない場合は、自動的にロールバックが行われます。. 

詳細については、詳細なブログや、以下の解説動画をご覧ください：

新しいConfluent CloudとWarpStreamの機能を活用して開発を始めましょう

アップデートが盛りだくさんですが、このブログで紹介できたのはほんの一部です！新機能について知る最良の方法は、実際に試してみることです。Confluentを初めてご利用になる方は、Confluent Cloudに無料で登録し、最初のクラスタを作成して新機能を体験してみてください。新規登録者には、登録後30日間、Confluent Cloudで利用できる400ドル分のクレジットが提供されます。プロモーションコード「CLOUDBLOG60」をご利用いただくと、さらに60ドル分の無料利用分が追加されます。.

BYOCが必要な場合は、WarpStreamの無料アカウントに登録できます。登録すると、有効期限のない400ドル分のクレジットが全員に付与され、利用開始にクレジットカードは不要です。

今日から始めましょう：

• Confluent Cloudにサインアップして、Q3の新機能をお試しください。

• WarpStreamに登録、最新機能をお試しください。

• 新しいAI機能のアーリーアクセスを入手し、リアルタイムコンテキストが反映されたエージェントを構築しましょう。

Apache®、Apache Kafka®、Apache Flink®、Flink® およびそれぞれのロゴは、米国およびその他の国における Apache Software Foundation の商標です。これらの商標の使用は、Apache Software Foundation による承認や推奨を意味するものではありません。その他のすべての商標は、それぞれの所有者に帰属します。