Confluent CloudのFlink：ミッションクリティカルなリアルタイム業務システム向けのエンジン、およびデータサイエンスとAIのためのdbt/SQLネイティブ環境

今日、企業は2つの重要な点で成果を上げる大きなプレッシャーにさらされています。それは、ミッションクリティカルなリアルタイム業務システムの構築と、分析対応の済んだデータを用いて、次世代のデータサイエンスおよび人工知能（AI）ワークフローを推進することです。従来、この両方を行うには、分断された複雑なアーキテクチャをうまく乗り越える必要がありました。開発者は、業務アプリケーションを駆動するために分散型ストリーム処理エンジンと格闘し、一方、データサイエンティストや分析のエンジニアは、モデル、データレイク、ダッシュボードにデータを供給するために、まったく別のバッチ処理システムに依存していました。その結果はどうなったでしょうか？インフラの重複、脆弱なETLによるパイプライン、断片化したガバナンス、そしてデータの陳腐化が生じ、最終的にはイノベーションの妨げとなっていました。

2026年第3四半期のリリースでは、Confluent CloudのApache Flink®の大幅な進化を発表します。データストリーミングプラットフォームを統合し、ミッションクリティカルなリアルタイム業務を支える堅牢なエンジンであると同時に、アナリティクスおよびAIチームのためのdbt/SQLネイティブな基盤としても機能するようになりました。Apache Kafka®とFlinkは、もはや単なる統合にとどまらず、シームレスに共同設計された単一のサーバーレス製品として提供されるのです。

第3四半期のローンチテーマである「プラットフォームのあらゆる柱の進化」に基づき、今回の発表はストリーム処理の転換点となります。Confluentは、業務と分析の垣根を取り払うことで、データ・イン・モーションの新たな時代を切り拓きます。ステートフルなアプリケーションを開発する開発者であれ、常に最新のデータを維持するデータエンジニアであれ、Flinkは今や、皆様が実際に業務を行う現場にぴったりと寄り添います。

開発者向けのミッションクリティカルな力

開発者チームをサポートするため、サーバーレスランタイムにプログラムによる完全な機能を直接搭載しました。Flink SQLは多くの分析ユースケースにおいて非常に優れていますが、開発者は複雑なビジネスロジックを表現するために、純粋なコードの柔軟性を必要とすることがよくあります。これまでは、そのためには低レベルのDataStream APIを利用する必要があり、その過程で運用上の負担やクラスター管理といった課題を抱えざるを得ませんでした。しかし、もうその心配はありません。

Table APIの一般提供開始

FlinkのTable APIがJava版で一般提供開始されました。これにより、開発者は、サーバーレスで完全に管理されたランタイムの運用上の簡便さを維持しつつ、コードファーストのアプローチで高度なFlinkアプリケーションを構築できるようになります。ストリーミングワークロードの大部分（ユースケースの約95%から99%）において、Table APIはDataStream APIと同等か、それ以上のパフォーマンスを発揮します。バッチ処理とストリーム処理の両方に対応した統一された宣言型APIを提供することで、開発者は基盤となるインフラではなく、純粋にビジネスロジックに集中できるようになります。

プロセステーブル関数（PTFs）

標準的なSQLでは表現できない重要なエッジケースに対応するため、当社はプロセステーブル関数（PTF）を導入します。PTFは、ストリーミングアプリケーションの「ステートフルな頭脳」としての役割を果たします。これにより、開発者はパイプライン内でカスタム状態を維持し、正確なタイマーを設定できるようになります。不正検知、ダイナミックプライシング、あるいは複数の指標を用いた異常検知など、複雑なイベント駆動型アーキテクチャを構築する場合、PTFを利用すれば、Table APIのエコシステムを放棄することなく、必要なきめ細かな制御を実現できます。PTFは現在、AWS、Azure、GCPといったすべてのクラウドサービスプロバイダーにおいて、Java版が一般提供されています。

外部接続とユーザー定義関数（UDF）

当社は、開発者が作業するあらゆる場所でFlinkの可能性を拡げています。ユーザー定義関数（UDF）は、Google Cloud（GCP）でのJava、およびAmazon Web Services（AWS）でのPythonに対応するようになり、マルチクラウド環境におけるUDFのギャップを事実上解消しました。これにより、エンジニアがすでに熟知している言語で記述されたカスタム変換ロジックを、Confluent Cloudにシームレスに直接取り込むことが可能になります。

サーバーレスFlinkアプリケーションと強化された耐障害性

当社のサーバーレスなステートフル処理は、「AWS Lambdaにステート機能を加えたもの」と考えてください。Flinkアプリを利用すれば、開発者は「正確に1回」の処理セマンティクスと自動スケーリング機能を利用でき、インフラのプロビジョニング、パッチ適用、管理といった作業は一切必要ありません。

これらのシステムがお客様のビジネスを支えていることを踏まえ、ミッションクリティカルなパイプライン向けにプラットフォームの堅牢性を強化しました。Kubernetes間での自動フェイルオーバー、堅牢なFlink SQLリカバリメカニズム、障害パターンの検出、および大幅に高速化されたチェックポイントを実装しました。また、レイテンシーに敏感なワークロードに対して保証された最低パフォーマンス水準を提供する新たなスケーリング制御（ベースラインCFU）を追加し、最も重要なアプリケーションが決して途切れることのないようにしています。

その証は、お客様の成功に表れています。MasterControlの導入により、データ処理パイプラインが刷新され、処理時間が3時間から5分未満へと大幅に短縮されました。Henry Schein Oneは、所有権を上流工程に移すことで、ガバナンスが確保された、すぐに本番環境で利用可能なデータを提供し、下流工程での手直しを不要にすることで、コストのかかる再処理を排除しています。FiservやJPMCといった業界をリードする企業も、最も要求が厳しく、高スループットを要する金融ワークロードの処理を、当社のプラットフォームに託しています。

分析エンジニア向けの「常に最新の状態」を保つデータプロダクトの構築

開発者はコードを扱うことに長けていますが、分析エンジニアやデータサイエンティストは、複雑なストリーミングのパラダイムを無理に学ぶことなく、既存の宣言型のツールを使える必要があります。この1年間、私たちはデータチームの本来のワークフローに直接対応できるよう努めてきました。

dbtアダプターとマテリアライズドテーブル

データエンジニアは、バッチ処理パイプラインの管理にdbtを活用しています。ストリーミング処理に移行する際、慣れないCLIや手動のワークフローを無理に使い続ける必要はありません。当社のdbtアダプターとマテリアライズドテーブルが一般提供されたことで、チームはSnowflakeやDatabricksなどのデータウェアハウスで利用しているのと同じdbt実行ワークフローをそのまま活用し、Flinkパイプラインのライフサイクル全体を管理できるようになりました。

マテリアライズドテーブルは、データチームがストリームを捉える方法を一変させます。一時的で短命なストリーミングステートメントを管理する代わりに、永続的でデータベースのようなアセットを管理できるようになります。パイプラインの変更（列の追加、フィルタの絞り込み、ロジックの変更など）が必要な場合、Flinkが内部で停止、再起動、オフセット管理、キャッチアップを処理します。これはデータエンジニアリングにおける「簡単ボタン」のようなもので、下流工程のダッシュボード、データレイク、レイクハウスに、常に最新で分析可能なデータプロダクトが確実に供給されることを保証します。

1つのエンジンがストリーミングとバッチ処理両方に対応

1つで全てを処理できるのに、なぜ2つの別々のコンピューティングエンジンを管理する必要があるのでしょうか？Flinkは、バッチ処理とストリーミング処理をネイティブに統合しています。スナップショットクエリとTable APIのバッチモードを利用すれば、コードを書き直すことなく、履歴データとライブストリームを同時にクエリできます。

スナップショットクエリは、ユニオンリードを使用してデータの特定の時点における完全なビューを返す、1回限りのSQLクエリを実行できるようにすることで、処理の摩擦を解消します。これにより、Tableflowに保存された詳細な履歴と、Kafkaの最新のリアルタイムイベントが統合されます。これらのクエリはApache IcebergまたはParquet形式に実行でき、生のKafkaストリームをスキャンする場合に比べて指数関数的に高速で、個別のバッチクラスタやスタンドアロンのリアルタイムノードが不要になります。これにより、同じFlink SQL、同じコンピュートプール、そして単一の課金モデルを備えた、統一されたプラットフォームが実現します。

AI-Readyのデータ処理: AI時代のデータエンリッチメント

生成AIアプリケーションや大規模言語モデル（LLM）は極めて強力ですが、根本的な制限を抱えています。それは、リアルタイムのコンテキストが欠如しているという点です。昨日学習されたAIモデルでは、今まさに発生している取引に関する質問には答えられません。価値のあるAIの成果を生み出すためには、企業にはリアルタイム・コンテキスト・エンジンが必要であり、Flinkはそれを実現する処理層なのです。

私たちは、Flinkを単にデータを移動させるだけでなく、AI向けにデータを充実させるための最高のプラットフォームにしています。組み込みのMLおよびAI機能により、Flinkはモデルを第一級の要素として扱います。Flink AI Model Inferenceを使用すると、Flink SQLから直接リモートモデルのエンドポイントを呼び出すことができます。脆弱で複雑なデータの同期パイプラインを構築することなく、リアルタイム推論、生成の埋め込み、ベクトル検索によるルックアップを通じて、ライブデータストリームをシームレスに充実させることができます。多変量異常検知（GA）および Graniteモデルのサポートが導入されたことで、AI 対応のデータストリームへのアクセスがこれまで以上に容易になりました。.

さらに、私たちは単なるデータ転送の域を超え、能動的な意思決定へと進んでいます。Streaming Agentsを利用すれば、開発者はFlink上で直接、イベント駆動型で常時稼働するエージェントを構築できます。Flinkは単にレコードを処理するだけでなく、Model Context Protocol（MCP）を通じてあらゆるAIシステムに最新のコンテキストを継続的に提供し、AIアプリケーションが正確かつ信頼性の高い意思決定を行うために必要な、ミリ秒単位の最新データを確実に確保します。

統合プラットフォーム：KafkaとFlinkの共同設計

第3四半期のリリースにおける真の共通点は、データストリーミングプラットフォームのあらゆる柱が進化したことです。しかし、それ以上に重要なのは、それらが一体となって進化したという点です。

KafkaとFlinkは、不自然に継ぎ接ぎされた別々のシステムではありません。これらは共同設計された単一の製品なのです。Confluent Schema Registry を基盤とする統一されたガバナンスモデルを共有しており、データがKafkaからFlinkへ流れる際、コンプライアンスを遵守し、スキーマ化された状態を維持し、データリネージを通じて完全に追跡可能であることを保証します。Kafkaヘッダー内のスキーマIDなどの機能により、データがKafkaからFlink、Tableflow、そしてレイクハウスへと流れる際、一貫性があり検証済みのスキーマを通じて、コンテキストに応じたAIアプリケーションや分析が可能になります。

また、これらには包括的なセキュリティ体制が共通して備わっています。この1年間で、プールレベルでのきめ細かなロールベースのアクセス制御（RBAC）、Flinkの状態データに対するBring Your Own Key（BYOK）暗号化、およびクライアントサイドのフィールドレベル暗号化（CSFLE）を実装しました。さらに、Kafka、Flink、Schema Registry、およびUnified Stream Manager全体にプライベートネットワークの適用範囲を拡大し、企業が極めて機密性の高いワークロードに必要とする安全な境界を提供しています。

最後に、これらは同じKoraストレージエンジンと、同じ基盤アーキテクチャを共有しています。Confluentを基盤として構築する場合、ストリームとテーブル、運用と分析、開発者とデータサイエンティストが、ついにすべて一つに統合されたプラットフォーム上で仕事ができることになります。

Flink Advantage Packを活用した、予測可能なFlinkの価格設定

ストリーミングワークロードを拡張する際、予測不可能なコストによって業務の進行が妨げられるべきではありません。安定した利用状況が把握されている本番環境の顧客向けに、当社は最近Flink Advantage Packsを導入し、導入初日から予測可能なコストと優れたコストパフォーマンスを提供しています。最低基準（クラウドプロバイダーごとに25 Confluent Flink Units（CFU）から）をコミットすることで、お客様はより高い利用明細上での割引（標準の1回ではなく、CFUあたり最大4回）を得られるようになります。.

これにより、標準の従量課金制と比較して、Flinkワークロードのコストを最大75%削減できるため、多額の費用をかけることなく、多数の小さなステートメントを実行したり、ストリーム処理の規模を拡大したりすることが、コスト効率良く行えます。今すぐコスト削減を始めるには、弊社または Confluent のアカウントチームまでお問い合わせください。

さっそくはじめましょう

Confluent CloudのFlinkの進化は、企業がデータ・イン・モーション（動いているデータ）活用の根本的な変革を意味します。開発者には完全なプログラム機能を提供し、分析エンジニアにはシームレスなSQLおよびdbtワークフローを、データサイエンティストにはネイティブなAI統合機能を提供することで、これまでの妥協を解消しています。業務システムと分析システムの間のギャップを埋める作業をやめ、単一の統合プラットフォーム上で両システムを稼働させる時が来たのです。

進化したデータストリーミングプラットフォームの力を体験してみませんか？今すぐConfluent Cloudにご登録ください。新規登録者には、最初の30日間でご利用いただける400ドル分がプレゼントされます。クレジットカードは不要です。

上記は当社の製品に関する一般的な方向性を概説したものであり、いかなる素材、コード、または機能の提供を確約するものではありません。記載されている機能や仕様の開発、リリース、時期、価格については変更される可能性があります。お客様は、現在利用可能なサービス、機能、仕様に基づいて購入の判断を行ってください。

Confluentおよび関連するマークは、Confluent, Inc.の商標または登録商標です。

Apache®、Apache Kafka®、Apache Flink®、Flink® およびそれぞれのロゴは、米国およびその他の国における Apache Software Foundation の商標です。これらの商標の使用は、Apache Software Foundation による承認や推奨を意味するものではありません。その他のすべての商標は、それぞれの所有者に帰属します。