Google Cloud 上で Confluent を使用してリアルタイムデータのイノベーションを推進

Confluent Cloud on GCP は、Apache Kafka® を基盤とする、完全マネージド型のクラウドネイティブデータストリーミングプラットフォームです。Kafka インフラストラクチャの管理に伴う運用上の負担なしに、Google Cloud サービス全体でリアルタイムのデータ処理と統合を可能にします。GCP のグローバルインフラストラクチャを活用することで、Confluent Cloud は、既存の GCP 環境とシームレスに統合されるスケーラブルで信頼性の高いストリーミングソリューションを提供します。

GCP での Confluent Cloud の詳細を確認

Confluent Cloud は、完全に管理された Connector を通じて、さまざまな Google Cloud サービスとのシームレスな統合を提供します。Google BigQuery、Google Cloud Storage、Google Cloud Pub/Sub、Google Cloud Spanner、Google Bigtableなどのサービスに接続できます。これらの統合により、GCP リソースと直接やり取りする堅牢なデータパイプラインやストリーミングアプリケーションを構築することができます。

Confluent Cloud と GCP の統合の詳細を確認

はい。GCP に Confluent Cloud をデプロイすると、Google のグローバルネットワーク、セキュリティ機能、コンプライアンス標準を活用して、Google Cloud のインフラストラクチャ上で実行されます。これにより、GCP 環境とシームレスに統合された、信頼性が高くスケーラブルなデータストリーミングサービスが確保されます。

Confluent Cloud の導入オプションの詳細を確認

Confluent Cloud on GCP を使用すると、次のようなメリットがあります。

• 完全マネージド型 : プロビジョニング、スケーリング、メンテナンスなどの運用タスクを Confluent にオフロードできます。
• シームレスな GCP 統合 : 完全マネージド型 Connector を活用して Google Cloud サービスと統合します。
• スケーラビリティ : ワークロードに基づいてリソースを自動的にスケーリングします。
• 強化されたセキュリティ : 組み込みのセキュリティ機能とコンプライアンス認証の利点を享受できます。
• コスト効率：従量課金制により初期費用を削減します。

Confluent Cloud のメリットを確認

GCP で Confluent Cloud を設定するには、以下の手順を実行します。

1. 登録 : Confluent Cloud アカウントを作成します。
2. GCP を選択 : クラスター作成時にクラウドプロバイダーとして Google Cloud を選択します。
3. クラスターの設定 : 希望する GCP リージョンとクラスターの仕様を選択します。
4. アプリケーションを接続 : 提供されたブートストラップサーバーと認証情報を使用して、Producer と Consumer を接続します。

ステップ別のガイドに従って GCP 上で Confluent Cloud をセットアップ

Confluent Cloud は、Google Cloud サービス向けにいくつかの完全マネージド型 Connector を提供しています。

• Google BigQuery Sink Connector : Kafka Topicsから BigQuery へデータをストリームします。
• Google Cloud Storage Sink Connector : データを Cloud Storage バケットに書き込みます。
• Google Cloud Pub/Sub Source Connector/Sink Connector : Pub/Sub Topic と統合します。
• Google Cloud Spanner Sink Connector : Cloud Spanner データベースにデータを書き込みます。
• Google Bigtable Sink Connector : Bigtable にデータをストリームします。

Confluent Cloud Connectors のリストを表示

Confluent Cloud は、Kafka Topic から BigQuery テーブルに直接データをストリーミングできる完全マネージド型の Google BigQuery Sink Connector を提供します。これにより、BigQuery の強力なクエリ機能を使用したリアルタイムの分析とインサイトが可能になります。

BigQuery シンクコネクターの設定方法を確認　

はい。Confluent Cloud を Google Cloud Dataflow と統合してリアルタイムデータ処理と変換を実行できます。Dataflow は Apache Kafka 用の Connector と IO 変換を提供し、Confluent Cloud からデータを取り込んだり、Confluent Cloud にデータを送信したりできるようにします。

Kafka と Dataflow の統合の詳細を確認

Confluent Cloud は、ストリーミングデータの取り込みと処理のための高スループット・低レイテンシのプラットフォームを提供し、リアルタイムデータストリーミングを実現します。BigQuery や Cloud Storage などの Google Cloud サービスとの統合により、GCP 上でエンドツーエンドのリアルタイムデータパイプラインとアプリケーションを構築することができます。

Confluent Cloud を使用したリアルタイムデータストリーミングを理解する

Confluent Cloud は強力なセキュリティ機能を提供します。

• 保存時と伝送時の暗号化 : すべてのデータは、伝送中は TLS を使用し、保存中は AES 暗号化を使用して暗号化されます。
• 認証 : OpenID Connect を使用した API キーと OAuth のサポート。
• アクセス制御 : きめ細かい権限設定のためのロールベースのアクセス制御 (RBAC)。- プライベートネットワーク接続 : VPC ピアリングまたはプライベートサービス接続を使用してプライベート接続を確立します。

Confluent Cloud のセキュリティの詳細を確認

はい。Kafka クライアントとアプリケーションを Google Kubernetes Engine (GKE) にデプロイし、Confluent Cloud クラスターに接続することができます。これにより、Confluent Cloud を活用してデータストリーミング用のスケーラブルなコンテナ化アプリケーションを構築することができます。

Kubernetes から Confluent Cloud へのクライアント接続の詳細を確認

Confluent Cloud と Google Cloud Pub/Sub はどちらもメッセージングサービスですが、Confluent Cloud は Apache Kafka を活用した完全なデータストリーミングプラットフォームを提供します。主な違いは次のとおりです。

• エコシステム : Confluent Cloud は ksqlDB、Schema Registry、豊富なコネクターセットを提供します。
• 互換性 : Confluent Cloud は Apache Kafka エコシステムおよびクライアントと互換性があります。
• ストリーム処理 : ksqlDB を使用した高度なストリーム処理機能。
• データ保持 : Confluent Cloud は長期のデータ保持を可能にしますが、Pub/Sub は短期メッセージングに最適化されています。

はい。Confluent Cloud は、可用性とレジリエンスを向上させるために、GCP 上でマルチゾーンおよびマルチリージョンのデプロイメントをサポートしています。複数の GCP リージョンにクラスターをデプロイし、データレプリケーションのために Cluster Linking を設定できます。

マルチリージョンデプロイメントを理解する

はい。Confluent Cloud を Google Cloud Functions および Cloud Run と統合してサーバーレスのイベントドリブン型アーキテクチャを構築できます。関数内で Kafka クライアントライブラリを使用して、Confluent Cloud からメッセージを生成または消費します。

Confluent Cloud とのサーバーレス統合を確認

Confluent Cloud は、Kafka Topic 全体でデータスキーマを管理・適用できる完全マネージド型の Schema Registry を提供します。これにより、データの互換性が確保され、データ処理のエラーが減少します。

Confluent Cloud の Schema Registry の詳細を確認

Confluent Cloud は、以下に基づいて課金される使用量ベースの料金モデルを使用します。

• データの入出/出力 : ストリーミングされたデータの量。
• ストレージ : Kafka Topic に保存されるデータの量。
• 追加サービス : Connector、ksqlDB、Schema Registry の使用。

また、割引料金で利用できる使用量コミットプランを選択することもできます。

Confluent Cloud の料金詳細を見る

以下を使用して Confluent Cloud クラスターを監視できます。

• Confluent Cloud UI : リアルタイムの指標とクラスターの健全性を提供します。
• Metrics API : プログラムで指標にアクセスします。
• 監視ツールとの統合 : 高度な監視には Datadog や Prometheus などのツールを使用できます。

Confluent Cloud の監視の詳細を確認

はい。Confluent Cloud は、SOC 2 Type II、ISO 27001、GDPR、HIPAA (BAA 付き) など、さまざまなコンプライアンス基準に準拠しています。GCP のコンプライアンス認証を利用して、データの安全な取り扱いを保証します。

はい、Confluent Cloud は次の方法で GCP 上のプライベートネットワークオプションをサポートしています。

• VPC ピアリング : ご利用の VPC と Confluent Cloud の間にプライベート接続を確立します。
• プライベートサービス接続 : Google の Private Service Connect を使用して Confluent Cloud サービスにプライベートに接続します。

Confluent Cloud でプライベートネットワークを設定

Confluent Cloud はワークロードに基づいて Kafka Cluster を自動的にスケーリングします。Auto Scaling (自動スケーリング) などの機能を提供し、手動での介入なしにさまざまなデータ量を処理できるようにすることで、データアーキテクチャの堅牢性とスケーラビリティを確保します。

Confluent Cloud でのスケーリングを理解する

パフォーマンスを最適化するには次を行います。

• Partition の設定：並列処理用に Topic の Partition を調整します。
• 効率的なシリアル化を使用 : Schema Registry で Avro のようなフォーマットを採用します。
• リソースを監視 : Confluent の監視ツールを利用します。
• ネットワーク構成 : プライベートネットワークオプションを介して低遅延のネットワーク接続を確保します。

パフォーマンスチューニングガイドライン

はい。Confluent Cloud を通じてデータをストリーミングすることで、GCP の AI および機械学習サービス (Vertex AI など) にリアルタイムデータを供給し、高度な分析や予測モデリングを行うことができます。

リアルタイムの機械学習パイプラインを構築する方法を学ぶ

Confluent Cloud は、Cluster Linking などの機能を通じてハイブリッドおよびマルチクラウドの展開を可能にします。これにより、異なる地域やクラウドプロバイダー、オンプレミス環境のクラスター間でデータを複製することができます。

Confluent は、Developer、Business、Premier Support の各レベルを含むさまざまなサポートプランを提供しています。これらは、Kafka の専門家、技術サポート、および SLA へのアクセスを提供し、ストリーミングアプリケーションの円滑な動作を保証します。

Confluent のサポートオプションを表示

Confluent Cloud の無料トライアルでは、トライアル終了後に正規登録した場合に使えるクレジットをご提供しています。初期費用なしに登録してストリーミングアプリケーションを GCP にデプロイし始めることができます。

無料トライアルに登録

はい。Confluent Cloud は Google Bigtable と Google Cloud Spanner の両方の Connector を提供しています。これらの Connector を使用すると、これらのデータベースにデータをストリーミングして、スケーラブルなストレージとリアルタイムのデータ アクセスを実現できます。

Confluent Cloud Connectors を探索

Confluent Cloud は、マルチゾーンクラスター や Cluster Linking などの機能を提供し、高可用性とディザスタリカバリを保証します。データは可用性ゾーンやリージョンをまたいでレプリケートされ、データ損失を防ぎます。

Confluent Cloud のディザスタリカバリの詳細を確認

Confluent の Stream Governance スイートは、ストリーミングアプリケーション全体のデータ品質とコンプライアンスを確保します。次の方法で GCP サービスと統合します。

• スキーマ管理 : Schema Registry を使用してスキーマを強制します。
• データリネージ : コンプライアンスと監査のためにデータフローを追跡します。
• 可視性：データストリームに対するインサイトを提供します。

Stream Governance の詳細を見る

ベストプラクティスには以下が含まれます。

• マネージド型 Connector の使用 : シームレスな統合のために Confluent の Connector を活用してください。
• セキュリティ対策の実施 : 暗号化、認証、プライベートネットワークを使用してください。
• パフォーマンスの監視 : Confluent のモニタリングツールを利用します。
• リソースの最適化 : Partition とレプリケーションファクターを適切に構成します。
• スキーマの管理 : データの一貫性を保つために Schema Registry を使用します。

ベストプラクティスガイドを確認

Confluent Cloud は以下を通じて高可用性を確保します。

• マルチゾーン展開 : クラスターは複数の可用性ゾーンにまたがります。
• 自動フェイルオーバー : ノード障害からの迅速な復旧。
• データレプリケーション : Broker およびリージョン間。

Confluent Cloud の高可用性の詳細を確認

Confluent Cloud は Google Cloud IAM と直接統合されていませんが、SAML または OAuth 2.0 をサポートするアイデンティティプロバイダーでシングルサインオン (SSO) を利用できます。Confluent Cloud 内のアクセスは、ロールベースアクセス制御 (RBAC) を使用して管理されます。

Confluent Cloud でアクセスを管理

Confluent Cloud は Apache Kafka クライアントと完全に互換性があります。既存の Kafka Producer と Consumer を使用して、最小限の構成変更で GCP 上の Confluent Cloud クラスターに接続することができます。

クライアントを Confluent Cloud に接続

次が必要となります。

• Confluent Cloud アカウント : GCP 上で Kafka Cluster を作成するため。
• GCP リソース : 統合したい Google Cloud サービスへのアクセス。
• マネージド Connector : GCP サービスとのシームレスな統合のため。
• アプリケーションコード : 必要に応じて Kafka Producer と Consumer を開発します。

Confluent Cloud の活用を開始

Confluent Cloud を Google Cloud Data Fusion と統合して、スケーラブルなデータパイプラインを構築することができます。Data Fusion 内で Kafka Connector を使用して、Confluent Cloud からデータを読み取ったり書き込んだりします。

Confluent Cloud と Data Fusion の統合の詳細を確認

はい。Confluent Cloud は、Cloud Functions、Cloud Run、Pub/Sub などの GCP サービスと統合することで、イベントドリブン型アーキテクチャを可能にします。リアルタイムデータイベントに反応するレスポンシブなアプリケーションを構築することができます。

Confluent を使用してイベントドリブン型アーキテクチャを探求

はい。Google Cloud Storage Sink Connector を使用すれば、Kafka Topic から Cloud Storage バケットにデータをストリームし、アーカイブやバッチ処理を行うことができます。

Cloud Storage Sink Connectors をセットアップ　

Confluent Cloud は、JDBC Connector (シンクおよびソース) を使用して Google Cloud SQL と統合できます。これにより、Cloud SQL データベースからデータを読み取ったり、Cloud SQL データベースにデータを書き込んだりすることができます。

Confluent Cloud で JDBC Connector を使用　

Confluent Cloud は、GCP の Standard クラスタ以上で99.95%のアップタイム SLA を提供し、重要なアプリケーションに対して信頼性の高いストリーミングサービスを保証します。

Confluent Cloud の SLA を確認

Confluent Cloud は、ユーザーおよびサービスアカウントの権限を管理するためにロールベースのアクセス制御 (RBAC) を提供します。きめ細かなロールとポリシーを定義して、Kafka リソースを保護することができます。

Confluent Cloud の RBAC の詳細を確認

はい。Apache Flink を Confluent Cloud で使用するには、Confluent Cloud の Kafka Topic 経由でデータを消費または生成するよう Flink Connector を構成します。

Flink を Confluent Cloud と統合

Confluent Cloud は、伝送中および保存中のデータを暗号化します。

• 伝送中 : データは TLS 1.2 以上のプロトコルを使用して暗号化されます。
• 保存時 : データは AES-256 暗号化標準を使用して暗号化されます。

Confluent Cloud のデータ暗号化の詳細を確認

はい。Confluent Terraform Provider を使用して、クラスター、Topic、サービスアカウントなどの Confluent Cloud リソースをプログラムで管理できます。

Terraform を使用して Confluent Cloud を管理

はい。Metrics API を使用し、適切なエクスポーターを設定することで、Confluent Cloud のログとメトリクスを Google Cloud のロギングおよびモニタリングサービスと統合することができます。

Confluent Cloud を監視

Confluent サポートに問い合わせるには、Confluent Cloud インターフェースを使用するか、サポートポータルにアクセスします。サポートレベルはご契約のサブスクリプションプランにより異なります。

Confluent サポートにアクセス

Confluent Cloud は Google Cloud の IAP とネイティブに統合されていません。ただし、GCP 環境で IAP を使用して、Confluent Cloud に接続するアプリケーションへのアクセスを保護することができます。

はい。Confluent Developer では、GCP 上で Confluent Cloud を使用してアプリケーションを構築するためのガイド付きチュートリアルと例を提供しています。

Confluent Developer のリソースを探索

Confluent Cloud は完全に管理されたサービスであり、Confluent がすべての更新、パッチ、メンテナンス作業を顧客への影響を最小限に抑えながら行います。アップデートはダウンタイムなしでシームレスにロールアウトされます。

Confluent Cloud のマネージドサービスの詳細を確認