Confluent Cloud の新機能 : データとパイプラインのアクセス性改善で AI 対応のストリーミングを実現 | もっと詳しく

Confluent Cloudの新機能:AI-Readyストリーミングに向けたデータとパイプライン、運用管理へのアクセス

作成者 :
  • Hannah Miao Senior Product Marketing Manager, Confluent

ストリーミングデータで本番レベルの人工知能 (AI) の構築を検討しているチームは多くありますが、これまで、その実現には専用ツールの利用や分断されたワークフロー、急な学習曲線が伴い、AI はデータエンジニア、開発者、運用者といったデータプラットフォームを支える担当者から切り離されがちでした。Current London での発表内容をベースとした今四半期のリリースは、この状況を根本的に変えます。AI-Readyストリーミングを、チームがすでに管理しているデータ、パイプライン、運用環境全体にわたって利用可能にします。今回発表する機能は以下の通りです。

これらのイノベーションの中核にあるのは、Kafkaヘッダー内でのスキーマIDの活用です。これは、データガバナンスのための重要な基盤となります。スキーマ情報をメッセージのメタデータに直接埋め込むことで、すべてのトピックをスキーマ化することが可能になりました。これにより、データがパイプラインを移動する過程でも一貫性と発見可能性を維持できるようになります。この変化により、チームはストリーミングデータを他の要素と同等に扱うデータ資産として活用できるようになります。生のイベントは、高品質でAI-Readyなデータ資産へと変換され、厳格なガバナンスを維持しながらもリアルタイム性を損なうことはありません。

開発者およびデータエンジニアにとっての Confluent Cloud for Apache Flink® の利用しやすさの向上

最新のデータアーキテクチャを構築する上で、ストリーム処理は特定用途向けのサイロであってはなりません。それは、パイプラインを管理しビジネスロジックを構築するデータエンジニアと、ステートフルかつイベント駆動型のサービスを構築してビジネスを支えるアプリケーション開発者の双方が利用しやすいものである必要があります。今回のリリースはこのギャップを解消するものとなっています。データエンジニア向けには、宣言型でSQLベースのワークフローを提供し、大規模なパイプライン構築を可能にします。一方でアプリケーション開発者向けには、コードベースの機能を提供し、複雑なイベント駆動サービスの構築を支援します。これらの新機能により、Flink はそれぞれのチームが日常的に使用するツールや言語に直接組み込まれます。

Confluent Cloud for Apache Flink® 向け dbtアダプタおよびマテリアライズドテーブル

dbtは、バージョン管理、テスト、CI/CD (継続的インテグレーション/継続的デリバリー) といったソフトウェアエンジニアリングのベストプラクティスをデータウェアハウスに取り入れることができるため、データエンジニアは、SQLベースの変換処理で dbtを標準として採用しています。しかしこれまでは、同じ手法をFlink SQLに適用するには、手動スクリプトの作成やコンソールへのコードのコピー&ペーストが必要でした。

Confluentは、この摩擦を解消するために、Confluent Cloud for Apache Flink® 向けdbtアダプタを提供します。この無料のオープンソースプラグインにより、データエンジニアリングチームはストリーミングパイプラインをdbtモデルとして定義およびテストし、ドキュメントを生成し、そしてデータウェアハウスでモデルを管理するのと同じdbtワークフローでFlinkコンピュートプールへ展開できるようになります。現在はモックデータを用いたユニットテストをサポートしており、ライブ出力に対するデータ品質テストも近日中に提供する予定です。また、このアダプタに加えて、confluent-sqlドライバも提供しています。これはスタンドアロンのドライバであり、Flinkを、Airflow のようなオーケストレーションツール、Pandasによるデータ分析、AIフレームワークなど、より広範なPythonエコシステムへと開放します。レガシープラットフォームからバッチワークロードを移行するチームにとって、このdbtアダプタは既存のプロジェクトパターンやスキルを再利用し、数か月ではなく数日で本番稼働へ移行するための鍵となります。

dbtを使用してFlink SQLの展開を開始する方法については、こちらのドキュメントを参照してください。

これらのパイプラインのライフサイクル管理をさらに簡素化するために、ConfluentはMaterialized Tablesを導入しました。Materialized Tablesは現在、一般提供 (GA) されています。従来、Flinkステートメントに対して、列の追加などの単純な変更を行う場合でも、停止と再作成のプロセスが必要であり、データ損失を防ぐためにオフセットの手動管理が必要でした。Materialized Tablesは、この運用モデルを根本から変えます。エフェメラルなステートメントの管理から、永続的でデータベースのようなオブジェクトへと移行し、オフセット管理とジョブオーケストレーションを単一の SQL ステートメントで自動化します。新しい CREATE OR ALTERコマンドを使用することで、クエリをインプレースで進化させ、状態を維持したままクエリを停止せずに更新できるようになります。その裏側では、Flinkがオフセット管理やジョブの移行といった複雑な処理を自動的にオーケストレーションします。これにより、手動での移行サイクルは不要となり、本番環境でFlinkパイプラインを運用するデータエンジニアに、よりシンプルな体験がもたらされます。詳細については、こちらのドキュメントを参照してください。

Materialized Tablesは、ストリーミングパイプラインの進化を簡素化します

Process Table Functions

Process Table Functions (PTF)は現在アーリーアクセス (EA)プログラムで提供されています。開発者はJavaでカスタムのステートフルなストリーム処理ロジックを記述し、それをConfluent Cloud上にSQLから呼び出せる関数として展開できます。これは、カスタムウィンドウ処理、ステートマシン、セッション追跡、重複排除ロジックなどの高度なアプリケーションロジックを、Confluent Cloud for Apache Flink®上で直接構築できるようにする、非常に大きな進化です。すでにテーブルAPIを使ってプログラム的にFlinkパイプラインを構築している開発者にとって、PTFはイベントに対して複雑なアプリケーションロジックを表現するために重要な役割を果たします。状態とタイマーをマネージドで利用することで、Flink の中でステートフルなマイクロサービスを直接構築できるようになり、テーブルAPIの宣言型フレームワークを維持したまま、サーバーレススケーリングの恩恵を受けることができます。こちらのドキュメントを参照して、利用を開始してください。

ユーザー定義関数 (UDF) の外部接続

アプリケーションの機能をさらに拡張するために、ユーザー定義関数(UDF)向けの外部接続機能をアーリーアクセス(EA)としてリリースしました。この機能により、ストリーミングサービスが外部の環境とやり取りできるようになり、別途マイクロサービスレイヤーを構築する必要がなくなります。開発者は、Flinkから直接、外部のREST API、データベース、AIのサービスを呼び出すことで、ストリームを容易に拡充できます。これは、イベントの到着に応じて外部コンテキストの取得やサードパーティシステムでのアクション実行が必要となる、リアルタイムAIエージェントを構築するときに特に重要です。これらの接続を本番環境で安全に利用できるようにするため、機密性の高い認証情報は、Confluent Cloudの一元的なリソースとして管理されます。これにより、ストリーミングアプリケーションと技術スタック全体を、安全かつ統制された方法で接続できます。

UDFの外部接続機能により、Javaで実装されたUDFが実行時に外部サービスと連携できるようになります

スナップショットクエリによるバッチとストリーミングの統合

Confluentはスナップショットクエリを昨年アーリーアクセスとして提供を開始しましたが、6月に一般提供されル予定です。これまで、企業は分断されたデータ処理環境に直面してきました。ストリーミングワークロードはリアルタイムデータを効果的に処理できる一方で、分析のために履歴データへアクセスするには、バッチ処理に基づくまったく別のシステムを導入する必要がありました。その結果、これらのワークロードは複数のツールに分散され、開発者のワークフローも分断されていました。

スナップショットクエリは、union readを使用することで、データの特定時点のスナップショットビューを返す一回限りのSQLクエリを実行できるようにして、この課題を解消します。この独自の機能により、Tableflowに保存された長期履歴データと、Apache Kafka®における最新のリアルタイムイベントを組み合わせて扱うことが可能になります。さらに、これらのクエリはTableflowデータ (Apache Iceberg™/Apache Parquet™フォーマット) を利用するため、加工されていないKafka ストリームを直接スキャンする場合と比べて 50〜100倍高速に処理できます。これにより初めて、同一のFlink SQL、同一のコンピュートプール、同一の課金モデルのもとで、バッチとストリーミングのワークロードを単一プラットフォームに統合できるようになります。大規模データ探索による異常検知、オンデマンドのコンプライアンス監査、あるいは履歴データのバックフィルなど、スナップショットクエリはデータ基盤を統合するための最後のピースとなります。

マネージドMCPサーバーとConfluent Agent Skillsによる、安全で自然言語ベースのAIインターフェースの構築

第1四半期には、Confluent Cloud向けのオープンソースMCPサーバーをサポートしました。これにより、あらゆるMCPクライアントが標準プロトコルを通じてKafka、コネクタ、Schema Registry、メトリクスなどにアクセスできるようになりました。

第2四半期では、Confluent Cloud向けのマネージドMCPサーバーを一般提供するとともに、新しいConfluent Agent Skillsを発表します。

Confluent Cloud向けマネージドMCPサーバー:マネージドMCP サーバーは、Confluent をMCPベースのエージェントにとってのファーストクラスのツールプロバイダーへと進化させます。Kafka、コネクタ、Schema Registry、メトリクスなどを、MCPクライアントから検出可能な形でツールとして公開します。これによりエージェントは、自然言語を通じてConfluentリソースを探索およびデバッグできるようになります。たとえば、データの発見や利用、バックプレッシャーなどのコネクタの問題の調査といった作業を自然言語で実行できます。この完全マネージドのサービスはConfluentによってホスティングされており、拡張性と可用性が組み込まれ、99.99%のサービスレベル契約 (SLA) を備えています。詳細については、こちらのドキュメントから確認できます。

Confluent Agent Skills:AIコーディングエージェントは、急速に開発者にとっての主要なインターフェースになりつつあります。開発者の作業環境を直接サポートするために、Confluent Agent Skillsが導入されました。これは、Confluentのベストプラクティスをエンコードした厳選されたスキルであり、AIエージェントに直接組み込まれます。これにより本番環境への展開までの時間を短縮し、Confluent上で動作するワークロードの品質向上を実現します。主な機能には以下が含まれます。

  • オープンソースのスキル (https://github.com/confluentinc/agent-skills):Apache License 2.0 で提供されるスキルで、開発者に一般的なConfluentワークフロー (例:変更データキャプチャパイプラインの設定、プロデューサーやコンシューマーの設定、Schema Registryの導入など) をガイドします。また、Agent Skills Specificationに準拠したあらゆるエージェントで利用可能です。

  • バナンスされたライフサイクル:AI支援によるスキル作成、CI (継続的インテグレーション) による検証、そして人間の分野専門家によるレビューという 3 層構造のガバナンスモデルを採用しています。これにより、スキルの品質、正確性、ベストプラクティスへの適合性を継続的に担保します。

Claude Code、Cursor、GitHub Copilotなどの AI コーディングエージェントの利用方法を組織として標準化しているチームの開発者は、自身のエージェントから、Confluentの構成や状態に応じたコンテキストを踏まえたガイダンスを直接受け取ることができます。これらは、本番環境で利用しているものと同じプラットフォームおよびガバナンス基盤によって支えられています。詳細については、Agent Skillsのブログを参照してください

Apache Kafka® 向けローカルMCPサーバーの拡張と、ハイブリッド開発のためのConfluent Platform

Confluentは、Apache KafkaおよびConfluent Platform向けのオープンソースのローカル MCPサーバーの機能を拡張しています。これによりチームは、本番環境と同じツールおよびスキル定義を使って、ローカル環境での開発・テストを行えるようになります。エージェントをローカルまたはマネージドMCPサーバーのいずれかに接続するだけで、ツールの書き換えなしにローカルとクラウド間をシームレスに移行できます。さらに、機密性の高いツールや実験的なツールはローカルに保持しつつ、標準的なMCPベースのアーキテクチャを採用することが可能になります。

このハイブリッドなアプローチにより、プラットフォームチームはセキュリティ要件を満たし、段階的にMCPを導入できます。

Confluent Intelligenceの新機能

昨年、Confluent Intelligenceを発表しました。これは、KafkaとFlinkを統合したデータストリーミング基盤上で、コンテキストに富み、信頼性の高いリアルタイム AIシステムを構築するためのフルマネージドサービスです。そして今四半期は、ビジネスの現在の状態に基づいてエージェントがより容易にアクションを実行できるようにする重要な機能およびアップデートを導入します。

Real-Time Context Engine

Real-Time Context Engineが一般提供 (GA) となりました。これにより、継続的に更新される構造化コンテキストを提供できるようになり、あらゆるAIシステムを支えることが可能となります。Real-Time Context Engineはデータを構造化された低レイテンシのコンテキストへと変換し、MCPを通じてあらゆるAIエージェントやアプリケーションが即座に利用できる形で提供します。これらはすべて Confluent Cloud上でフルマネージドのサービスとして提供されます。今回の一般提供開始により、このエンジンは単純な主キー検索から進化し、フィルタ、レンジ、複合クエリを完全にサポートする高度なクエリレイヤーへと拡張されました。主要なすべてのスキーマタイプをサポートし、自動スケーリングにも対応することで、別途オペレーショナルデータベースを用意する必要がなくなります。これにより、本番用AIにおける最も難しい課題である「コンテキストエンジニアリング」がデータストリームの中でネイティブに処理されるようになります。

Streaming Agents

Streaming Agentsも一般提供 (GA) となり、本番環境向けのイベント駆動型エージェントを FlinkおよびKafkaのパイプラインに直接組み込めるようになりました。エージェントは、バッチスナップショットに依存するのではなく、ライブのビジネスシグナルを継続的に監視し、エンタープライズグレードの信頼性と99.99%のSLAのもとで自律的にアクションを実行します。また、今回のリリースではエージェントリフレクションパターンも提供されます。これは、エージェントがストリームに単一の信頼できるイベントを出力する前に、自身の出力を反復的に振り返り、改善する仕組みです。クイックスタートドキュメントを使用して、数分でイベント駆動型エージェントの構築を開始できます。

Agent Management Console

Agent Management Consoleは、中央集約型の UIベースのコントロールプレーンであり、Streaming Agentsの動作を視覚的に把握できるようにします。開発者やプラットフォームチームは、SQLジョブを個別に追いかけるのではなく、エージェントがどのように構成されているかを一目で確認できます。入力、出力、プロンプト、モデル、コンテキストテーブルを、単一画面で把握できます。これにより、AI にもコアのマイクロサービスに適用しているのと同等の厳格な運用規律を適用できます。

Agent Management Consoleは、Apache Flink上でエージェントを作成、展開、運用するための一元的なUIを提供します

この管理コンソールにより、チームはコードだけで作業するのではなく、ガイド付きインターフェースを利用してプロンプトやデータ連携を作成および調整できるため、反復的な改善サイクルを迅速化できます。さらに、サンプル入力を使ったエージェントのテスト機能やライブログの確認機能を提供することで、これにより、AI開発者とプラットフォーム運用者が共通の視点でエージェントを検証・運用できるようになり、自律型エージェントの展開と監視をこれまで以上に安心して行えるようになります。

KafkaヘッダーのスキーマIDによるガバナンスの拡張

KafkaヘッダーでのスキーマID が正式にサポートされるようになりました。これにより、データガバナンスをデータのペイロード形式に依存させることなく実現できます。これによってチームは、「データを運ぶだけのパイプライン」からインテリジェントなデータプレーンへと移行できます。しかも、レガシーシステムを破壊するリスクや複雑なワイヤーフォーマットの変更を必要としません。メッセージ本文内にあった 5バイトのスキーマ識別子をメタデータレイヤーへ移動することで、既存のトピックをわずか数分でスキーマ化できるようになります。これにより、すべてのイベントは構造化され、下流のアプリケーションで即座に利用可能な状態となります

2つのフォーマット、1つの目的:並べて比較

このアップデートは、これまでKafkaチームを悩ませてきた「スキーマを既存トピックに導入する際の移行の難しさ」を解決します。新しいConfluentのデシリアライザはヘッダーを優先的に参照する仕組みを採用しているため、プロデューサーとコンシューマーをそれぞれ独立したタイミングで段階的にアップグレードできます。従来のコンシューマーはスキーマを持たないペイロードをそのまま読み続けることができる一方で、「スマート」コンシューマーはヘッダー内のグローバル一意識別子 (GUID) を使ってSchema Registryに照会し、データを検証できます。ペイロード自体は変更されないため、下流のシステムが壊れることもありません。これにより、組織全体で厳格なデータコントラクトを適用しながらも、サービスの同時停止や一括移行 (ビッグバンカットオーバー) を必要としない、ゼロダウンタイムでのガバナンス導入パスが実現します。

運用の簡素化にとどまらず、ストリームをヘッダーレベルでスキーマ化することで、KafkaはAIおよび分析基盤全体のインテリジェントなバックボーンへと進化します。適切にガバナンスされたトピックは、デフォルトでレイクハウスに対応でき、TableflowやFlinkといったツールが検証された高品質なデータを取り込んで、分析やAIユースケースに活用できるようになります。リアルタイムアプリケーションへのデータ供給であれ、機械学習モデルの訓練であれ、ヘッダー内のスキーマIDによって、データをコンテキスト付きかつ信頼できる状態で利用できるようになります。これは、スピードとガバナンスのどちらかを選ぶ必要がなくなる、基盤レベルの大きな転換となります。

Kafka Copy Pasteによるクライアント移行の簡素化

今年初め、Confluentは、クラスタの検出とコスト評価、インフラストラクチャのプロビジョニング、データ移行など、Confluent Cloudへの移行を自動化するために設計されたオープンソースの CLIツールKafka Copy Paste (KCP)を発表しました。今回、Confluentは、移行プロセスにおける最後の課題であるクライアント移行に対応すべくKCPの機能を拡張しました。KCPは現在、クライアントとKafkaクラスタの間でインテリジェントなルーティング層として機能する、クラウドネイティブなKafkaプロキシConfluent Cloud Gatewayと統合されています。Cloud Gatewayは Kafkaプロトコルメッセージをルーティングし、メタデータやブローカーアドレスを書き換えるとともに、クライアントに対して仮想化されたエンドポイントを提供します。これによりKCPは、クライアント側に変更を加えることなく、ソース Kafka クラスタから移行先のConfluent Cloudクラスタへトラフィックを透過的にリダイレクトできるようになります

クライアント側ではbootstrap URLの向き先をゲートウェイへ変更するだけで済みます。この変更はダウンタイムなしで、任意のタイミングで実施できます。その後、プラットフォームチームはKCP を使用してトピックやクライアントを論理的な移行グループとして整理し、特定のドメインやサービスごとに独立して移行を進めることで、影響範囲を最小限に抑えることができます。またKCPはレプリケーションの遅延状況を監視するコマンドも提供しており、ソースクラスタのデータが移行先クラスタへ完全に複製されたタイミングを正確に把握できます。切り替えの準備が整ったら、単一のコマンドでトラフィックを一時停止し、ルーティング先をソースクラスタから移行先クラスタへ切り替えた後、トラフィックを再開できます。これにより、コンシューマーは手動でオフセットを管理することなく、中断した位置からそのまま処理を再開できます。

さらにゲートウェイはバックグラウンドで認証情報の変換も処理します。クライアントは既存の認証情報をそのまま利用でき、ゲートウェイがそれらを Confluent CloudのAPIキーへ自動的にマッピングします。この仕組みは、オープンソースのApache Kafka、マネージドKafkaサービス、Confluent Platform など、Kafkaと互換性のあるあらゆるソースで利用できます。

KCPの詳細については GitHub および詳細を解説したこちらのブログを参照してください。KCP を使用したクライアント移行の主要な手順を確認できます。 

コスト見積もりをリクエスト
Confluentは、移行に関する詳細なコスト見積もりを提供し、移行計画を強力に支援しています。見積もりをご希望の場合は、Confluent CloudのMigration hubにアクセスし、kcp-state.jsonファイルをアップロードしたうえで 「Request cost estimate(コスト見積もりをリクエスト)」を選択してください。Confluentの担当者がすぐにご連絡し、現在の環境構成に基づいた詳細なコスト内訳を提供します。

その他の新機能とアップデート

Tableflowのアップデート

Confluentは、エンタープライズ規模でも安心してTopics-to-Tablesパイプラインを運用できるよう、Tableflowに複数の機能強化を追加しました。

  • ユーザー定義ネームスペース (一般提供開始)システムが自動生成する分かりにくい IDの代わりに、「finance」や「analytics」といった、ビジネスに関連する分かりやすい名前を利用できるようになりました。これにより、ストリーミングテーブルをAWS Glue、Databricks Unity Catalog、Snowflake Open Catalog などの外部カタログにおける既存のガバナンスおよびディスカバリ構造へシームレスに統合できます。

  • JSONスキーマでのデッドレターキュー (DLQ) のサポート (一般提供開始)不正な形式の JSONレコードを専用のDLQトピックへ隔離することで、本番パイプラインの整合性を保護します。これにより、主要なテーブルの品質と信頼性を維持しながら、問題のあるイベントを保持して後から調査できるため、デバッグを迅速に行えます。

  • クライアント側のフィールドのレベル暗号化 (CSFLE) サポート (一般提供開始)セキュリティ要件の厳しい組織では、CSFLEによって暗号化されたKafkaトピックを、そのまま分析向けテーブルとして取り込めるようになりました。Tableflowはマテリアライズ時に顧客が管理するキーを使用してフィールドをネイティブに復号するため、機密性の高いワークロードもデータレイク内で他のデータと同様に扱うことができます。

  • オブザーバビリティとメトリクス (一般提供開始)オフセットラグ、イベント/処理の新しさ、同期状態などの詳細なメトリクスを宛先ごとに提供し、パイプラインをより深く可視化します。これらの新しいメトリクスは、構造化されたライフサイクルログや実用的なエラーメッセージと組み合わせることで、Splunk や OpenTelemetryなどのツールとシームレスに統合され、使い慣れたツールからデバッグや監視を行えます。

  • データのTTL (Time to Live) (限定提供)Kafkaスタイルの時間ベースの保持ポリシーを適用することで、ペタバイト規模のワークロードにおけるストレージコストを制御できます。データのTTLはタイムスタンプに基づいて期限切れのレコードを自動的に削除し、ストレージ使用量を最適化するとともに、社内ポリシーや法的要件に基づくデータ保持要件への対応を支援します。

また、Confluentは、より多くのチームがTableflowの利用を開始できるように、Tableflowトピックの階層型料金体系を発表しました。この新しい料金体系では、利用量の増加に応じて実単価が自動的に低下する透明性の高い料金モデルを採用しており、コストを容易に予測できます。増加分のコストはトピック時間あたり最低 0.01ドル まで低減されるため、負荷の高いワークロードでも安心して拡張できます。Tableflowが総所有コスト(TCO)の削減にどのように貢献するかについては、ブログを参照してください。また、今月後半に公開予定のTableflow料金体系のページで詳細情報をご確認ください。詳細については、アカウントチームまでお問い合わせください。

コネクタのアップデート

新しいフルマネージドコネクタ

Confluent Cloudで複数の新しいフルマネージドコネクタの提供を開始します。

Confluent Cloudで利用できる新たなフルマネージドコネクタには、 DB2 JDBC Source Connector, Solace Source Connector, Azure Log Analytics V2 Sink Connector, and MongoDB CDC Source (Debezium) Connectorが含まれます。

Google Cloud におけるカスタム Single Message Transform (SMT) のサポート

Confluent は、AWS および Azure に加え、Google Cloud でもカスタム SMT (単一メッセージ変換) のサポートを拡張します。これにより、プライベートネットワーク設定を使用するクラスタにおいて、フルマネージドコネクタ上で独自の SMT コードをアップロードし、実行できるようになります。

AWS におけるカスタムコネクタ向けの Egress PrivateLink サポート

Confluent は、カスタムコネクタ向けに Egress PrivateLink 接続の提供を開始します。これにより、安全な一方向のプライベートネットワーク接続を実現できます。管理者は専用のゲートウェイとアクセスポイントを構成することで、AWS 上の Enterprise クラスタおよび Dedicated クラスタから外部システムへのトラフィックをシームレスにルーティングしながら、厳格なセキュリティ体制を維持できます。

フルマネージドコネクタ向けシークレットマネージャーのサポート 

認証情報のスプロール化を防ぎ、セキュリティ体制を強化するため、Confluentは フルマネージドコネクタ向けシークレットマネージャーのサポートを開始しました。現在、この機能はDedicated Cluster向けに提供されており、AWS Secrets ManagerおよびAzure Key Vaultと連携できます。これにより、既存のクラウドネイティブなシークレットストアで認証情報を一元管理できるようになります。その結果、シークレットのローテーションやライフサイクル管理を自動化でき、認証情報がバックグラウンドで安全に更新される間も、Kafka Connectパイプラインを継続的かつ安定して稼働させることができます

Kafka Connectタスクの階層型料金体系

また、Kafka Connectタスクの階層型料金体系を発表しました。コネクタの利用規模が拡大するにつれて、より低い料金が自動的に適用されるようになります。大規模利用時には追加利用分に対して最大80%の割引が適用されるため、SaaS、データベース、イベントストリームなどの複雑な統合環境でも、高いコスト効率で導入できるようになります。詳細については、今後数週間以内に公開予定のKafka Connect の新しい料金体系ページをご確認いただくか、アカウントチームまでお問い合わせください。

セキュリティのアップデート

グローバルAPIキー

.Confluent Cloudは、APIキーのスプロール化の問題を解消するため、グローバルAPI キーを導入します。これにより、Kafkaクラスタ、Schema Registry、マネージドコネクタといった個別サービスごとに異なる APIキーを管理する代わりに、単一の認証情報でConfluent Cloudのサービスのエコシステム全体へアクセスできるようになります。この一元化により、開発者や管理者は、リソースごとに分散した APIキーを管理する煩雑さから解放され、よりスムーズにプラットフォームを利用できます。 さらに、グローバルAPI キーは日常的な運用、開発、テスト作業を簡素化するだけでなく、認証情報を変更することなくクラスタ間でクライアントをシームレスに移行できるようにもなります。これにより、複雑なストリーミング環境を管理する場合でも、拡張性とセキュリティを兼ね備えた認証基盤が提供されます。

Freight Cluster向けBYOK

Freight Cluster向けの BYOK (Bring Your Own Key)が近日サポートされます。これにより、Freight Clusterが提供するコスト削減効果を活用しながら、独自の暗号鍵を使用してセキュリティおよびコンプライアンス要件を維持できるようになります。この機能は、AWS、Azure、Google Cloud上のDedicated ClusterおよびDedicated Clusterで既に提供されている顧客によるセルフマネージド暗号鍵のサポートをFreight Clusterにも拡張したものです。

オブザーバビリティとメトリクスのアップデート

Confluentは、ストリーミングワークロードのトラブルシューティングや最適化をより容易にするため、オブザーバビリティ機能のアップデートを提供します。

  • 新しいクライアント上限メトリクスでは、どのユーザーやサービスアカウントなどがスループット割り当てを超過したのか、またその具体的な原因は何かを正確に把握できます。これにより、これまで何時間もかかっていた手作業によるログの突き合わせ作業を数分に短縮できます。

  • パフォーマンスのボトルネックに対処するため、ConfluentのUIでは コンシューマーグループのリバランス時間および発生頻度を可視化できるようになりました。これにより、コンシューマーグループの不安定な状態をひと目で把握できます。

  • さらに、一定期間内の接続試行回数を集計する接続試行メトリクスを追加しました。これにより、クラスタのスループットへ影響を及ぼす前に、接続ストームの兆候を検出できます。

  • APIの機能強化に加え、Confluent Cloud Consoleのクラスタ監視ページも刷新され、Elastic ClusterおよびDedicated Clusterの両方をより詳細に可視化できます。Elastic Clusterでは、新しいElastic Confluent Unit for Kafka (eCKU)使用状況チャートにより、リアルタイムのキャパシティに加え、パーティション数やリクエストレートなど、利用量を押し上げている要因を可視化できます。

これらのアップデートの詳細については、ブログを参照してください。

Confluent Cloud for Government が FedRAMP Moderate認証を取得

Confluent Cloud for Government (CCG) が、参加企業が限定された FedRAMP 20x パイロットプログラムを通じて FedRAMP Moderate 認証を取得し、FedRAMP Marketplace に掲載されました。このマイルストーンにより、連邦政府、州政府、地方自治体、部族政府機関とこれらの機関と取引のある民間組織は、厳格な連邦政府のセキュリティ基準を満たしたエンタープライズグレードのデータストリーミング基盤を、数か月ではなく数日で導入できるようになります。

Private Cloudの一元的なポリシー適用機能 (アーリーアクセス)

Confluent は、Confluent Private Cloud (CPC) の一元的なポリシー適用機能のアーリーアクセスプログラムで提供します。一般提供は今年後半を予定しています。多くのKafka環境では、数百ものチームがそれぞれ独自にスキーマや認証方式を管理しています、その結果、暗号化方式の不統一、ガバナンスギャップ、そして大きな運用負荷が発生しています。さらに、レガシーアプリケーションやサードパーティ統合の存在によって、データソースで最新のセキュリティ基準やデータ品質基準を適用することが一層困難になっています。

CPCの一元的なポリシー適用機能は、フィールドレベルの暗号化/復号、ペイロードの暗号化/復号、および高度なスキーマ検証機能をCPCゲートウェイに直接組み込みます。これらの制御を一元化することで、個々のアプリケーションのコードを変更することなく、一貫したセキュリティ、コンプライアンス、およびデータ品質ポリシーを適用できます。これにより、チーム間の調整負荷を軽減し、アップグレードや監査を簡素化するとともに、レガシー環境や厳格な規制要件が求められる環境においても、検証されコンプライアンスに準拠したデータのみがストリーミングエコシステムへ取り込まれることを保証できます。

Confluent Cloudの新機能を今すぐ活用しましょう

Confluentを初めて利用する方は、Confluent Cloudの無料トライアルに登録し、最初のクラスタを作成して新機能をお試しください。新規登録ユーザーには、登録後30日間Confluent Cloud で利用できる400ドル分のクレジットが提供されます。さらに、プロモーションコード CLOUDBLOG60を利用すると、60ドル分の追加クレジットを受け取れます。

本資料に記載された内容は、Confluentの一般的な製品開発方針を示すものであり、特定の機能、コード、または機能性の提供を約束するものではありません。記載されている機能の開発、リリース時期、提供時期、および価格は変更される場合があります。お客様は、現在利用可能なサービスや機能に基づいて購入について判断してください。

Confluentおよび関連するサービスマークは、Confluent, Inc.の商標または登録商標です。

Apache®、Apache Kafka®、Apache Flink®、Flink®、Apache IcebergTM、IcebergTM、Apache ParquetTM、ParquetTM、およびそれぞれのロゴは、米国およびその他の国における Apache Software Foundationの商標です。これらのマークの使用は、Apache Software Foundation による承認を意味するものではありません。その他すべての商標は、それぞれの所有者に帰属します。

  • Hannah Miao は、Confluent Cloud の導入促進を担当するプロダクトマーケターです。Confluent入社前は、TikTok で広告プロダクトの成長戦略に携わったほか、AWS ではコンテナサービスを担当していました。

このブログ記事は気に入りましたか?今すぐ共有