[Webinar] Master Apache Kafka Fundamentals with Confluent | Register Now

Anmeldung Kontakt

Demo ansehenKostenlos loslegen
Demo ansehenKostenlos loslegen

Confluent Cloud vs. Amazon MSK

Zukunftsorientierte Investition mit der Cloud-nativen und umfassenden Daten-Streaming-Plattform, die überall verfügbar ist. Neu konzipiert, um das volle Potenzial der Cloud auszuschöpfen, bietet Confluent Cloud eine vollständig verwaltete Lösung, die alle Daten-Streaming-Anforderungen von der Einführung bis zur umfassenden Nutzung erfüllt.

Entwickelt und unterstützt von den ursprünglichen Erfindern von Apache Kafka®️

Kostenlos testenDemo ansehen
Value for Investment
Planung
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Dimensionierung

Durchsatz-basiert

  • Mühsame Performance-Tests werden überflüssig. Elastisch skalierbare Scale-to-Zero-Clustern, bei denen du nur für die Nutzung und nicht für die bereitgestellte Infrastruktur bezahlt wird, reduzieren die Infrastrukturkosten

Broker-basiert

  • Bereitstellung von Zeit und Ressourcen, um Performance-Tests durchzuführen und Broker-Typen und Anzahl auszuwählen
  • Überprovisionierung von Infrastruktur, um den Bedarf an späteren komplexen Erweiterungen aufgrund mangelnder Auto-Skalierung (vier Vorgänge pro Tag) zu reduzieren

Durchsatz-basiert

  • Elastische Skalierung mit Support von bis zu 200 Mbit/s Eingang und 400 Mbit/s Ausgang

Confluent Cloud

Durchsatz-basiert

  • Mühsame Performance-Tests werden überflüssig. Elastisch skalierbare Scale-to-Zero-Clustern, bei denen du nur für die Nutzung und nicht für die bereitgestellte Infrastruktur bezahlt wird, reduzieren die Infrastrukturkosten

Amazon MSK

Broker-basiert

  • Bereitstellung von Zeit und Ressourcen, um Performance-Tests durchzuführen und Broker-Typen und Anzahl auszuwählen
  • Überprovisionierung von Infrastruktur, um den Bedarf an späteren komplexen Erweiterungen aufgrund mangelnder Auto-Skalierung (vier Vorgänge pro Tag) zu reduzieren

MSK Serverless

Durchsatz-basiert

  • Elastische Skalierung mit Support von bis zu 200 Mbit/s Eingang und 400 Mbit/s Ausgang
Deployment
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Bereitstellung

Self-Service, On-Demand

  • Bereitstellung von Kafka-Clustern zusammen mit jeder anderen Confluent Cloud-Komponente, einschließlich Schema Registry, Connect und Flink

Self-Service, On-Demand nur für Kafka

  • Bereitstellung von Kafka-Clustern zusammen mit Glue Schema Registry und Flink
  • Für Connectors und Kafka-Proxy sind individuelle Anpassungen erforderlich

Self-Service, On-Demand nur für Kafka

  • Bereitstellung von Kafka-Clustern zusammen mit Glue Schema Registry und Flink
  • Für Connectors und Kafka-Proxy sind individuelle Anpassungen erforderlich
Infrastructure as Code

Sowohl für Steuerungs- als auch Daten-Ebene

  • Vereinheitlichtes Erlebnis für die Bereitstellung und Verwaltung von Confluent-Ressourcen in unterschiedlichen Umgebungen. Nutzung eines Terraform-Anbieters, um sowohl Ressourcen der Steuerungsebene (wie Cluster und Schema Registry) als auch der Datenebene (wie Topics und ACLs) zu verwalten.

Nur für die Steuerungsebene

  • Terraform kann nur Ressourcen der Steuerungsebene bereitstellen und verwalten. Zur Verwaltung von Ressourcen der Datenebene müssen individuelle Operatoren und Prozesse erstellt werden.

Nur für die Steuerungsebene

  • Terraform kann nur Ressourcen der Steuerungsebene bereitstellen und verwalten. Zur Verwaltung von Ressourcen der Datenebene müssen individuelle Operatoren und Prozesse erstellt werden.

Confluent Cloud

Self-Service, On-Demand

  • Bereitstellung von Kafka-Clustern zusammen mit jeder anderen Confluent Cloud-Komponente, einschließlich Schema Registry, Connect und Flink

Sowohl für Steuerungs- als auch Daten-Ebene

  • Vereinheitlichtes Erlebnis für die Bereitstellung und Verwaltung von Confluent-Ressourcen in unterschiedlichen Umgebungen. Nutzung eines Terraform-Anbieters, um sowohl Ressourcen der Steuerungsebene (wie Cluster und Schema Registry) als auch der Datenebene (wie Topics und ACLs) zu verwalten.

Amazon MSK

Self-Service, On-Demand nur für Kafka

  • Bereitstellung von Kafka-Clustern zusammen mit Glue Schema Registry und Flink
  • Für Connectors und Kafka-Proxy sind individuelle Anpassungen erforderlich

Nur für die Steuerungsebene

  • Terraform kann nur Ressourcen der Steuerungsebene bereitstellen und verwalten. Zur Verwaltung von Ressourcen der Datenebene müssen individuelle Operatoren und Prozesse erstellt werden.

MSK Serverless

Self-Service, On-Demand nur für Kafka

  • Bereitstellung von Kafka-Clustern zusammen mit Glue Schema Registry und Flink
  • Für Connectors und Kafka-Proxy sind individuelle Anpassungen erforderlich

Nur für die Steuerungsebene

  • Terraform kann nur Ressourcen der Steuerungsebene bereitstellen und verwalten. Zur Verwaltung von Ressourcen der Datenebene müssen individuelle Operatoren und Prozesse erstellt werden.
Betrieb
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Infra-Monitoring

Proaktives Monitoring

  • Volle Konzentration auf die App-Entwicklung mit proaktivem Cluster-Monitoring und Wartung durch Kafka-Experten
  • Infinate Storage ermöglicht Anwendungsfälle mit unbegrenztem Speicher auf Cluster-Ebene und reduziert gleichzeitig das Risiko von speicherplatzbedingten Fehlern

Manuelles Monitoring

  • Ressourcen müssen zugewiesen werden, um Broker-Metriken wie CPU-Auslastung zu monitoren und die Cluster-Performance proaktiv zu managen
  • Um Fehler aufgrund der Speicherkapazität zu verhindern, müssen Alerts erstellt und überwacht werden
.

Proaktives Monitoring

  • Zielgerichtete App-Entwicklung mit proaktiver Cluster-Überwachung und -Wartung
  • Infinate Storage ermöglicht Anwendungsfälle mit unbegrenztem Speicher auf Cluster-Level und reduziert gleichzeitig das Risiko von Speicherplatz-bedingten Fehlern
Topic-Monitoring

Kostenlose, voraggregierte Metrics

  • Zugriff auf die wichtigsten, auf Topic- und Cluster-Ebene voraggregierten Metriken ohne zusätzliche Kosten. Metriken im bevorzugten Drittanbieter-Monitoring-Service nutzen mithilfe der Metrics API.

Metriken auf Topic-Ebene sind kostenpflichtig

  • Kostenpflichtige Nutzung und manuelle Aggregation von Metriken je Broker- und Topic-Ebene, um die Gesamtnutzung zu monitoren

Kostenloses Standard-Monitoring

  • Kostenloser Zugriff auf Topic-Level-Metriken über die CloudWatch-Konsole, einem separaten Monitoring-Tool für verschiedene AWS-Produkte. Metriken auf Partitions-Ebene oder native Integration mit beliebten Monitoring-Tools wie Datadog und Dynatrace werden nicht unterstützt.
Upgrades

Immer die neueste stabile Version

  • Durch unterbrechungsfreie, fortlaufende Upgrades auf die aktuellste stabile Kafka-Version, die strategische Patches vor geplanten Apache-Releases enthält, sind keine Eingriffe notwendig

Eingeschränkter Versionen-Support

  • Manuelle Ausführung von Upgrades, sobald AWS diese nach geplanten Apache-Releases unterstützt. MSK unterstützt nur ein Subset von Kafka-Versionen

Eingeschränkter Versionen-Support

  • Durch unterbrechungsfreie, fortlaufende Upgrades sind keine Eingriffe notwendig. MSK unterstützt nur ein Subset an Kafka-Versionen und die aktuellste Version wird nicht berücksichtigt.
Software-Patches

Proaktive Fixes

  • Sicher und zuverlässig streamen mithilfe von Kafka-Experten, die proaktiv bekannte Bugs, Schwachstellen und auch die kompliziertesten Kafka-Probleme beheben

Reaktive Fehlerbehebung

  • MSK bietet nur ausgewählte Versionen von Kafka an und Fehler aufgrund von Kafka-Software sind nicht durch MSK-Uptime-SLAs abgedeckt. Die Beschränkung auf ein Subset von Versionen hat einen reaktiven Ansatz zur Beseitigung von Schwachstellen zur Folge.

Reaktive Fehlerbehebung

  • MSK bietet nur ausgewählte Versionen von Kafka an und Fehler aufgrund von Kafka-Software sind nicht durch MSK-Uptime-SLAs abgedeckt. Die Beschränkung auf ein Subset von Versionen hat einen reaktiven Ansatz zur Beseitigung von Schwachstellen zur Folge.

Confluent Cloud

Proaktives Monitoring

  • Volle Konzentration auf die App-Entwicklung mit proaktivem Cluster-Monitoring und Wartung durch Kafka-Experten
  • Infinate Storage ermöglicht Anwendungsfälle mit unbegrenztem Speicher auf Cluster-Ebene und reduziert gleichzeitig das Risiko von speicherplatzbedingten Fehlern

Kostenlose, voraggregierte Metrics

  • Zugriff auf die wichtigsten, auf Topic- und Cluster-Ebene voraggregierten Metriken ohne zusätzliche Kosten. Metriken im bevorzugten Drittanbieter-Monitoring-Service nutzen mithilfe der Metrics API.

Immer die neueste stabile Version

  • Durch unterbrechungsfreie, fortlaufende Upgrades auf die aktuellste stabile Kafka-Version, die strategische Patches vor geplanten Apache-Releases enthält, sind keine Eingriffe notwendig

Proaktive Fixes

  • Sicher und zuverlässig streamen mithilfe von Kafka-Experten, die proaktiv bekannte Bugs, Schwachstellen und auch die kompliziertesten Kafka-Probleme beheben

Amazon MSK

Manuelles Monitoring

  • Ressourcen müssen zugewiesen werden, um Broker-Metriken wie CPU-Auslastung zu monitoren und die Cluster-Performance proaktiv zu managen
  • Um Fehler aufgrund der Speicherkapazität zu verhindern, müssen Alerts erstellt und überwacht werden
.

Metriken auf Topic-Ebene sind kostenpflichtig

  • Kostenpflichtige Nutzung und manuelle Aggregation von Metriken je Broker- und Topic-Ebene, um die Gesamtnutzung zu monitoren

Eingeschränkter Versionen-Support

  • Manuelle Ausführung von Upgrades, sobald AWS diese nach geplanten Apache-Releases unterstützt. MSK unterstützt nur ein Subset von Kafka-Versionen

Reaktive Fehlerbehebung

  • MSK bietet nur ausgewählte Versionen von Kafka an und Fehler aufgrund von Kafka-Software sind nicht durch MSK-Uptime-SLAs abgedeckt. Die Beschränkung auf ein Subset von Versionen hat einen reaktiven Ansatz zur Beseitigung von Schwachstellen zur Folge.

MSK Serverless

Proaktives Monitoring

  • Zielgerichtete App-Entwicklung mit proaktiver Cluster-Überwachung und -Wartung
  • Infinate Storage ermöglicht Anwendungsfälle mit unbegrenztem Speicher auf Cluster-Level und reduziert gleichzeitig das Risiko von Speicherplatz-bedingten Fehlern

Kostenloses Standard-Monitoring

  • Kostenloser Zugriff auf Topic-Level-Metriken über die CloudWatch-Konsole, einem separaten Monitoring-Tool für verschiedene AWS-Produkte. Metriken auf Partitions-Ebene oder native Integration mit beliebten Monitoring-Tools wie Datadog und Dynatrace werden nicht unterstützt.

Eingeschränkter Versionen-Support

  • Durch unterbrechungsfreie, fortlaufende Upgrades sind keine Eingriffe notwendig. MSK unterstützt nur ein Subset an Kafka-Versionen und die aktuellste Version wird nicht berücksichtigt.

Reaktive Fehlerbehebung

  • MSK bietet nur ausgewählte Versionen von Kafka an und Fehler aufgrund von Kafka-Software sind nicht durch MSK-Uptime-SLAs abgedeckt. Die Beschränkung auf ein Subset von Versionen hat einen reaktiven Ansatz zur Beseitigung von Schwachstellen zur Folge.
Skalierung
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Cluster-Erweiterungen

Elastische Skalierbarkeit

  • Automatische Ressourcenzuweisung an den Cluster mithilfe von vollständig elastischen, selbst-ausgleichenden Clustern, um Consumer-Lag zu vermeiden, wenn der Durchsatz im GBit/s-Bereich hoch- und runterskaliert
  • Eliminierung von übermäßiger Cluster-Computing-Provisionierung, wenn die Topic-Retention mit Infinite Storage erhöht wird

Manuelles Daten-Rebalancing

  • Manueller Daten-Rebalancing-Prozess mit Cruise Control erforderlich, nachdem Broker einem Cluster hinzugefügt wurden
  • Tiered Storage verfügbar, aber EBS-Volumes, die auf bis zu 16 TB pro Broker bei einem Limit von 30 Brokern skaliert werden können, werden weiterhin benötigt.

Elastische Skalierbarkeit

  • Mühelose Auf- und Abskalierung von 0 bis 200 MBit/s mit automatischem Cluster-Rebalancing
  • Vermeidung übermäßiger Cluster-Computing-Provisionierung wenn die Topic-Retention erhöht wird, mithilfe von Infinite Storage.
Connectors

Vorgefertigt und vollständig verwaltet

  • Beschleunigte Integration moderner und Legacy-Services On-Prem und in Public Clouds mit einem kontinuierlich wachsenden Portfolio von mehr als 120 Connectors, die entweder als vollständig verwaltete oder vorgefertigte Komponenten mit Confluent-Support verfügbar sind.

Selbst entwickeln und verwalten

  • Nutzung von selbst entwickelten oder Community-entwickelten Connectors ohne direkten technischen Support von AWS. Lediglich grundlegende MSK Connect-Infrastruktur inbegriffen

Selbst entwickeln und verwalten

  • Nutzung von selbst entwickelten oder Community-entwickelten Connectors ohne direkten technischen Support von AWS. Lediglich grundlegende MSK Connect-Infrastruktur inbegriffen

Confluent Cloud

Elastische Skalierbarkeit

  • Automatische Ressourcenzuweisung an den Cluster mithilfe von vollständig elastischen, selbst-ausgleichenden Clustern, um Consumer-Lag zu vermeiden, wenn der Durchsatz im GBit/s-Bereich hoch- und runterskaliert
  • Eliminierung von übermäßiger Cluster-Computing-Provisionierung, wenn die Topic-Retention mit Infinite Storage erhöht wird

Vorgefertigt und vollständig verwaltet

  • Beschleunigte Integration moderner und Legacy-Services On-Prem und in Public Clouds mit einem kontinuierlich wachsenden Portfolio von mehr als 120 Connectors, die entweder als vollständig verwaltete oder vorgefertigte Komponenten mit Confluent-Support verfügbar sind.

Amazon MSK

Manuelles Daten-Rebalancing

  • Manueller Daten-Rebalancing-Prozess mit Cruise Control erforderlich, nachdem Broker einem Cluster hinzugefügt wurden
  • Tiered Storage verfügbar, aber EBS-Volumes, die auf bis zu 16 TB pro Broker bei einem Limit von 30 Brokern skaliert werden können, werden weiterhin benötigt.

Selbst entwickeln und verwalten

  • Nutzung von selbst entwickelten oder Community-entwickelten Connectors ohne direkten technischen Support von AWS. Lediglich grundlegende MSK Connect-Infrastruktur inbegriffen

MSK Serverless

Elastische Skalierbarkeit

  • Mühelose Auf- und Abskalierung von 0 bis 200 MBit/s mit automatischem Cluster-Rebalancing
  • Vermeidung übermäßiger Cluster-Computing-Provisionierung wenn die Topic-Retention erhöht wird, mithilfe von Infinite Storage.

Selbst entwickeln und verwalten

  • Nutzung von selbst entwickelten oder Community-entwickelten Connectors ohne direkten technischen Support von AWS. Lediglich grundlegende MSK Connect-Infrastruktur inbegriffen
Stream-Verarbeitung und Integration
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Connectors

Vorgefertigt & vollständig verwaltet

  • Nahtlose und mühelose Integration von Apache Kafka in moderne und Legacy-Systeme (On-Premise und in Public Clouds) mit einem kontinuierlich wachsenden Portfolio von mehr als 120 Connectors, die entweder als vollständig verwaltete oder als vorgefertigte Komponenten mit Confluent-Support verfügbar sind.

Custom-built & selbstverwaltet

  • Integration von Kafka in Datenservices mit selbst entwickelten oder einer kleinen Auswahl von Community-entwickelten Connectors. Eigene Connectors erfordern Wartung und Kafka-Community-Connectors sind nicht durch den technischen Support von AWS abgedeckt.

Custom-built & selbstverwaltet

  • Integration von Kafka in Datenservices mit selbst entwickelten oder einer kleinen Auswahl von Community-entwickelten Connectors. Eigene Connectors erfordern Wartung und Kafka-Community-Connectors sind nicht durch den technischen Support von AWS abgedeckt.
Datenstromverarbeitung

Vollständig verwaltet

  • Vollständig verwalteter Flink- und ksqlDB-Service. Nutzer können einfach einen Cluster erstellen und mit der Stream-Verarbeitung in einer SQL-ähnlichen Sprache loslegen. Unterstützt zudem den vollständig verwalteten AWS-Lambda-Service

Erhöhte Komplexität

  • Unterstützt Lambda und self-managed ksqlDB Unterstützt
  • Managed Service für Apache Flink (MSF), der zwar leistungsstark ist, aber auch die Komplexität erhöht. Nutzer müssen das Netzwerk konfigurieren, ein MSF Studio-Notebook erstellen, den Job mit SQL-ähnlicher Syntax erstellen, den Code testen und paketieren, in S3 hochladen und aus dem hochgeladenen Code eine MSF-Anwendung erstellen.

Erhöhte Komplexität

  • Unterstützt Lambda, aber nicht ksqlDB.
  • Unterstützt Managed Service für Apache Flink (MSF), der zwar leistungsstark ist, aber auch Komplexität mit sich bringt. Nutzer müssen das Netzwerk konfigurieren, ein MSF Studio-Notebook erstellen, den Job mit SQL-ähnlicher Syntax erstellen, den Code testen und paketieren, in S3 hochladen und aus dem hochgeladenen Code eine MSF-Anwendung erstellen.
No-Code-Stream-Verarbeitung

Vollständig verwaltet

  • Daten-Streaming-Pipelines visuell erstellen mit einer Point-and-Click-Oberfläche in Stream Designer

Custom-built & selbstverwaltet

  • Eigene No-Code-Stream-Verarbeitungs-Lösungen zu erstellen, ist mit hohem Anpassungsaufwand verbunden

Custom-built & selbstverwaltet

  • Eigene No-Code-Stream-Verarbeitungs-Lösungen zu erstellen, ist mit hohem Anpassungsaufwand verbunden

Confluent Cloud

Vorgefertigt & vollständig verwaltet

  • Nahtlose und mühelose Integration von Apache Kafka in moderne und Legacy-Systeme (On-Premise und in Public Clouds) mit einem kontinuierlich wachsenden Portfolio von mehr als 120 Connectors, die entweder als vollständig verwaltete oder als vorgefertigte Komponenten mit Confluent-Support verfügbar sind.

Vollständig verwaltet

  • Vollständig verwalteter Flink- und ksqlDB-Service. Nutzer können einfach einen Cluster erstellen und mit der Stream-Verarbeitung in einer SQL-ähnlichen Sprache loslegen. Unterstützt zudem den vollständig verwalteten AWS-Lambda-Service

Vollständig verwaltet

  • Daten-Streaming-Pipelines visuell erstellen mit einer Point-and-Click-Oberfläche in Stream Designer

Amazon MSK

Custom-built & selbstverwaltet

  • Integration von Kafka in Datenservices mit selbst entwickelten oder einer kleinen Auswahl von Community-entwickelten Connectors. Eigene Connectors erfordern Wartung und Kafka-Community-Connectors sind nicht durch den technischen Support von AWS abgedeckt.

Erhöhte Komplexität

  • Unterstützt Lambda und self-managed ksqlDB Unterstützt
  • Managed Service für Apache Flink (MSF), der zwar leistungsstark ist, aber auch die Komplexität erhöht. Nutzer müssen das Netzwerk konfigurieren, ein MSF Studio-Notebook erstellen, den Job mit SQL-ähnlicher Syntax erstellen, den Code testen und paketieren, in S3 hochladen und aus dem hochgeladenen Code eine MSF-Anwendung erstellen.

Custom-built & selbstverwaltet

  • Eigene No-Code-Stream-Verarbeitungs-Lösungen zu erstellen, ist mit hohem Anpassungsaufwand verbunden

MSK Serverless

Custom-built & selbstverwaltet

  • Integration von Kafka in Datenservices mit selbst entwickelten oder einer kleinen Auswahl von Community-entwickelten Connectors. Eigene Connectors erfordern Wartung und Kafka-Community-Connectors sind nicht durch den technischen Support von AWS abgedeckt.

Erhöhte Komplexität

  • Unterstützt Lambda, aber nicht ksqlDB.
  • Unterstützt Managed Service für Apache Flink (MSF), der zwar leistungsstark ist, aber auch Komplexität mit sich bringt. Nutzer müssen das Netzwerk konfigurieren, ein MSF Studio-Notebook erstellen, den Job mit SQL-ähnlicher Syntax erstellen, den Code testen und paketieren, in S3 hochladen und aus dem hochgeladenen Code eine MSF-Anwendung erstellen.

Custom-built & selbstverwaltet

  • Eigene No-Code-Stream-Verarbeitungs-Lösungen zu erstellen, ist mit hohem Anpassungsaufwand verbunden
Management und Monitoring
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Kafka UI

Vollständig verwaltet

  • Bietet eine intuitive, nutzerfreundliche Kafka UI, mit der Steuerungsebenen-Ressourcen (Kafka Cluster und Connectors) und Datenebenen-Ressourcen (Topics und ACLs) verwaltet sowie eigene Ressourcen über dieselbe UI überwacht werden können. Zudem ist die native Verwaltung von Kafka-Ressourcen nützlich für Kafka Gitops.

Nicht verfügbar

  • Steuerungsebenen-Ressourcen können über die Konsole verwaltet werden. Ohne Kafka UI müssen aber kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern genutzt werden, um Kafka-Ressourcen zu verwalten. Ohne natives Topic-Management wird zudem die Implementierung von GitOps mit MSK erschwert.

Nicht verfügbar

  • Steuerungsebenen-Ressourcen können über die Konsole verwaltet werden. Ohne Kafka UI müssen aber kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern genutzt werden, um Kafka-Ressourcen zu verwalten. Ohne natives Topic-Management wird zudem die Implementierung von GitOps mit MSK erschwert.
Infrastruktur-Monitoring

Proaktives Monitoring

  • Features wie Infinite Storage schaffen eine sorgenfreie Infrastruktur. Rechenleistung und Speicher werden entkoppelt, um Speicherplatz-bedingte Fehler zu reduzieren, und ein proaktives Monitoring durch Kafka-Experten hilft dabei, die maximale Cluster-Leistung zu gewährleisten.

DIY-Monitoring

  • Ressourcen müssen auf Brokerebene bereitgestellt werden, um Metriken zu exportieren, zu aggregieren und zu monitoren (was die Kosten für Monitoring-Services von Drittanbietern erhöht), wie z. B. Festplattenspeicher, um Ausfälle aufgrund von Speicherkapazität und CPU-Auslastung zu verhindern und die Clusterleistung proaktiv zu managen

Proaktives Monitoring

  • Zielgerichtet an App-Entwicklung mit proaktivem Cluster-Monitoring und -Wartung arbeiten
  • Unbegrenzte Speicherung ermöglicht unbegrenzte Speicher-Anwendungsfälle auf Cluster-Level und reduziert gleichzeitig das Risiko von Speicherplatz-bedingten Fehlern
Topic-Monitoring

Voraggregiert und kostenlos

  • Zugriff auf die wichtigsten, auf Topic- und Cluster-Ebene voraggregierten Metriken, die über die Cloud-Benutzeroberfläche genutzt werden können. Alternativ können benutzerdefinierte Dashboards durch manuelle Integration der Metrics API mit dem bevorzugten Drittanbieter-Monitoring-Service erstellt werden

PER_TOPIC ist kostenpflichtig

  • Die Nutzung und manuelle Aggregation von Metriken pro Broker sowie pro Topic pro Broker, zur Überwachung der Gesamtnutzung, sind kostenpflichtig. Aggregationen müssen nach Events wie Skalierungen neu berechnet werden, wenn Partitionen über verschiedene Broker hinweg neu ausbalanciert werden.

Standard-Monitoring ist kostenlos

  • Monitoring auf Topic-Ebene ist ohne zusätzliche Kosten möglich und über die CloudWatch-Konsole verfügbar. Monitoring auf Partitionsebene oder der Zugriff auf die Metrics-API sind nicht enthalten. Eine einfache Integration in gängige Monitoring-Tools wie Datadog und New Relic wird nicht gewährleistet.

Confluent Cloud

Vollständig verwaltet

  • Bietet eine intuitive, nutzerfreundliche Kafka UI, mit der Steuerungsebenen-Ressourcen (Kafka Cluster und Connectors) und Datenebenen-Ressourcen (Topics und ACLs) verwaltet sowie eigene Ressourcen über dieselbe UI überwacht werden können. Zudem ist die native Verwaltung von Kafka-Ressourcen nützlich für Kafka Gitops.

Proaktives Monitoring

  • Features wie Infinite Storage schaffen eine sorgenfreie Infrastruktur. Rechenleistung und Speicher werden entkoppelt, um Speicherplatz-bedingte Fehler zu reduzieren, und ein proaktives Monitoring durch Kafka-Experten hilft dabei, die maximale Cluster-Leistung zu gewährleisten.

Voraggregiert und kostenlos

  • Zugriff auf die wichtigsten, auf Topic- und Cluster-Ebene voraggregierten Metriken, die über die Cloud-Benutzeroberfläche genutzt werden können. Alternativ können benutzerdefinierte Dashboards durch manuelle Integration der Metrics API mit dem bevorzugten Drittanbieter-Monitoring-Service erstellt werden

Amazon MSK

Nicht verfügbar

  • Steuerungsebenen-Ressourcen können über die Konsole verwaltet werden. Ohne Kafka UI müssen aber kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern genutzt werden, um Kafka-Ressourcen zu verwalten. Ohne natives Topic-Management wird zudem die Implementierung von GitOps mit MSK erschwert.

DIY-Monitoring

  • Ressourcen müssen auf Brokerebene bereitgestellt werden, um Metriken zu exportieren, zu aggregieren und zu monitoren (was die Kosten für Monitoring-Services von Drittanbietern erhöht), wie z. B. Festplattenspeicher, um Ausfälle aufgrund von Speicherkapazität und CPU-Auslastung zu verhindern und die Clusterleistung proaktiv zu managen

PER_TOPIC ist kostenpflichtig

  • Die Nutzung und manuelle Aggregation von Metriken pro Broker sowie pro Topic pro Broker, zur Überwachung der Gesamtnutzung, sind kostenpflichtig. Aggregationen müssen nach Events wie Skalierungen neu berechnet werden, wenn Partitionen über verschiedene Broker hinweg neu ausbalanciert werden.

MSK Serverless

Nicht verfügbar

  • Steuerungsebenen-Ressourcen können über die Konsole verwaltet werden. Ohne Kafka UI müssen aber kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern genutzt werden, um Kafka-Ressourcen zu verwalten. Ohne natives Topic-Management wird zudem die Implementierung von GitOps mit MSK erschwert.

Proaktives Monitoring

  • Zielgerichtet an App-Entwicklung mit proaktivem Cluster-Monitoring und -Wartung arbeiten
  • Unbegrenzte Speicherung ermöglicht unbegrenzte Speicher-Anwendungsfälle auf Cluster-Level und reduziert gleichzeitig das Risiko von Speicherplatz-bedingten Fehlern

Standard-Monitoring ist kostenlos

  • Monitoring auf Topic-Ebene ist ohne zusätzliche Kosten möglich und über die CloudWatch-Konsole verfügbar. Monitoring auf Partitionsebene oder der Zugriff auf die Metrics-API sind nicht enthalten. Eine einfache Integration in gängige Monitoring-Tools wie Datadog und New Relic wird nicht gewährleistet.
Sicherheit auf Enterprise-Niveau
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Authentifizierung

Umfassende Authentifizierung

  • Nur authentifizierte Clients erhalten Cluster-Zugriff. SASL/PLAIN und SASL/OAUTHBEARER (in Preview) werden als Authentifizierungsmechanismen unterstützt

Umfassende Authentifizierung

  • Ermöglicht authentifizierten Zugriff. SASL/SCRAM, mTLS und IAM werden als Authentifizierungsmechanismen unterstützt

Eingeschränkte Authentifizierung

  • Nur authentifizierte Clients erhalten Cluster-Zugriff. Unterstützt nur IAM als Authentifizierungsmechanismus.
Verschlüsselung

End-to-End-Verschlüsselung

  • Client-Side Field Level Encryption (Early Access) in Confluent Cloud bietet eine zusätzliche Sicherheitsebene, indem sensible Daten auf dem Client verschlüsselt und sowohl auf dem Client als auch auf dem Server geschützt werden. Außerdem wird die Sicherheit während der Datenübertragung zwischen Producern und Consumern gewährleistet.

Nicht unterstützt

  • Field Level Encryption wird nicht unterstützt

Nicht unterstützt

  • Field Level Encryption wird nicht unterstützt
Schwachstellen- und Bug-Patches

Proaktive Fehlerbehebungen

  • Kafka-Experten beheben Bugs und bekannte Schwachstellen über alle Cluster hinweg, sobald sie identifiziert werden sowie der Fix getestet wurde und stabil ist, um die höchste Serviceverfügbarkeit zu gewährleisten.

Reaktive Fehlerbehebungen

  • Software-bezogene Probleme sind von Uptime-SLAs ausgeschlossen, da AWS Bugs nicht vor den Kafka-Releases beheben kann. MSK-Kunden haben die Option, Cluster manuell zu aktualisieren, wenn eine neuere Version unterstützt wird, oder Cluster zu migrieren, falls keine Aktualisierungsmöglichkeit besteht.

Reaktive Fehlerbehebungen

  • Software-bezogene Probleme sind von Uptime-SLAs ausgeschlossen, da AWS Bugs nicht vor den Kafka-Releases beheben kann. MSK-Kunden haben die Option, Cluster manuell zu aktualisieren, wenn eine neuere Version unterstützt wird, oder Cluster zu migrieren, falls keine Aktualisierungsmöglichkeit besteht.

Confluent Cloud

Umfassende Authentifizierung

  • Nur authentifizierte Clients erhalten Cluster-Zugriff. SASL/PLAIN und SASL/OAUTHBEARER (in Preview) werden als Authentifizierungsmechanismen unterstützt

End-to-End-Verschlüsselung

  • Client-Side Field Level Encryption (Early Access) in Confluent Cloud bietet eine zusätzliche Sicherheitsebene, indem sensible Daten auf dem Client verschlüsselt und sowohl auf dem Client als auch auf dem Server geschützt werden. Außerdem wird die Sicherheit während der Datenübertragung zwischen Producern und Consumern gewährleistet.

Proaktive Fehlerbehebungen

  • Kafka-Experten beheben Bugs und bekannte Schwachstellen über alle Cluster hinweg, sobald sie identifiziert werden sowie der Fix getestet wurde und stabil ist, um die höchste Serviceverfügbarkeit zu gewährleisten.

Amazon MSK

Umfassende Authentifizierung

  • Ermöglicht authentifizierten Zugriff. SASL/SCRAM, mTLS und IAM werden als Authentifizierungsmechanismen unterstützt

Nicht unterstützt

  • Field Level Encryption wird nicht unterstützt

Reaktive Fehlerbehebungen

  • Software-bezogene Probleme sind von Uptime-SLAs ausgeschlossen, da AWS Bugs nicht vor den Kafka-Releases beheben kann. MSK-Kunden haben die Option, Cluster manuell zu aktualisieren, wenn eine neuere Version unterstützt wird, oder Cluster zu migrieren, falls keine Aktualisierungsmöglichkeit besteht.

MSK Serverless

Eingeschränkte Authentifizierung

  • Nur authentifizierte Clients erhalten Cluster-Zugriff. Unterstützt nur IAM als Authentifizierungsmechanismus.

Nicht unterstützt

  • Field Level Encryption wird nicht unterstützt

Reaktive Fehlerbehebungen

  • Software-bezogene Probleme sind von Uptime-SLAs ausgeschlossen, da AWS Bugs nicht vor den Kafka-Releases beheben kann. MSK-Kunden haben die Option, Cluster manuell zu aktualisieren, wenn eine neuere Version unterstützt wird, oder Cluster zu migrieren, falls keine Aktualisierungsmöglichkeit besteht.
Data Governance
Cloud-Nativ,
Self-Managed,
Angepasst/Nicht unterstützt

Service

Confluent Cloud

Amazon MSK

MSK Serverless

Data Governance

Vollständig verwaltet

  • Bietet eine Reihe vollständig verwalteter Services, die zusammenarbeiten, um die Verfügbarkeit, Integrität und Sicherheit der unternehmensweit genutzten Daten zu gewährleisten. Stream Governance basiert auf drei zentralen strategischen Säulen: Stream Lineage, Stream Catalog und Stream Quality. Data Quality Rules garantieren qualitativ hochwertige Streams.

Nicht verfügbar

  • Keine Lineage oder Catalog-Features verfügbar. Um Stream Governance zu ermöglichen, müssen kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern eingesetzt werden.
  • Zur Sicherstellung der Datenqualität können MSK und MSK Serverless in Confluent und Glue Schema Registry integriert werden. Broker-seitige Schema-Validierung, die Daten-Producer zwingt, die Schema-Registry zur Steuerung der Schema-Evolution zu nutzen, Data Quality Rules zur Validierung und Einschränkung einzelner Feldwerte innerhalb eines Datenstroms sowie Schema-Linking, das Schemas über verschiedene Umgebungen hinweg synchronisiert, werden jedoch nicht unterstützt.

Nicht verfügbar

  • Keine Lineage oder Catalog-Features verfügbar. Um Stream Governance zu ermöglichen, müssen kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern eingesetzt werden.
  • Zur Sicherstellung der Datenqualität können MSK und MSK Serverless in Confluent und Glue Schema Registry integriert werden. Broker-seitige Schema-Validierung, die Daten-Producer zwingt, die Schema-Registry zur Steuerung der Schema-Evolution zu nutzen, Data Quality Rules zur Validierung und Einschränkung einzelner Feldwerte innerhalb eines Datenstroms sowie Schema-Linking, das Schemas über verschiedene Umgebungen hinweg synchronisiert, werden jedoch nicht unterstützt.

Confluent Cloud

Vollständig verwaltet

  • Bietet eine Reihe vollständig verwalteter Services, die zusammenarbeiten, um die Verfügbarkeit, Integrität und Sicherheit der unternehmensweit genutzten Daten zu gewährleisten. Stream Governance basiert auf drei zentralen strategischen Säulen: Stream Lineage, Stream Catalog und Stream Quality. Data Quality Rules garantieren qualitativ hochwertige Streams.

Amazon MSK

Nicht verfügbar

  • Keine Lineage oder Catalog-Features verfügbar. Um Stream Governance zu ermöglichen, müssen kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern eingesetzt werden.
  • Zur Sicherstellung der Datenqualität können MSK und MSK Serverless in Confluent und Glue Schema Registry integriert werden. Broker-seitige Schema-Validierung, die Daten-Producer zwingt, die Schema-Registry zur Steuerung der Schema-Evolution zu nutzen, Data Quality Rules zur Validierung und Einschränkung einzelner Feldwerte innerhalb eines Datenstroms sowie Schema-Linking, das Schemas über verschiedene Umgebungen hinweg synchronisiert, werden jedoch nicht unterstützt.

MSK Serverless

Nicht verfügbar

  • Keine Lineage oder Catalog-Features verfügbar. Um Stream Governance zu ermöglichen, müssen kostenlose Community-Tools ohne Support oder kostenpflichtige Tools von Drittanbietern eingesetzt werden.
  • Zur Sicherstellung der Datenqualität können MSK und MSK Serverless in Confluent und Glue Schema Registry integriert werden. Broker-seitige Schema-Validierung, die Daten-Producer zwingt, die Schema-Registry zur Steuerung der Schema-Evolution zu nutzen, Data Quality Rules zur Validierung und Einschränkung einzelner Feldwerte innerhalb eines Datenstroms sowie Schema-Linking, das Schemas über verschiedene Umgebungen hinweg synchronisiert, werden jedoch nicht unterstützt.