[Webinar] Q1 Confluent Cloud Launch Brings You the Latest Features | Register Now

eBook

Data Mesh in der Praxis: Aufbau einer dezentralisierten Datenarchitektur mit Event-Streams

Data-Mesh-Architekturen mit Event-Streams

Was spricht für ein Data Mesh?

Beim Data Mesh geht es um die Bereitstellung von Daten als erstklassigem Produkt. Deshalb liegt der Fokus darauf, die Veröffentlichung von wichtigen Daten und den Zugriff darauf in der gesamten Organisation so einfach wie möglich zu gestalten. Ein Event-getriebenes Data Mesh vereint den Umfang und die Performance von Data in Motion mit produktorientierter Strenge und Self-Service-Funktionen, so dass Daten sowohl in betrieblichen als auch in analytischen Anwendungsfällen im Mittelpunkt stehen.Ein Data Mesh stützt sich auf vier Hauptprinzipien und ist gewissermaßen eine Neuinterpretation der sozialen Verantwortung in Kombination mit modernen Event-Streaming-Technologien. Das Ergebnis ist ein Netzwerk von ständig aktualisierten Event-Streams, die sowohl neue Informationen als auch alte Daten verfügbar machen. So wird es Consumers ermöglicht, Daten nach eigenem Ermessen auszuwählen und zu verwenden.

Der Autor Adam Bellemare erklärt, warum ein Event-getriebenes, auf Apache Kafka® entwickeltes Data Mesh die beste Möglichkeit bietet, auf wichtige Geschäftsdaten zuzugreifen und die betriebliche und analytische Ebene in Einklang zu bringen. Als Machbarkeitsnachweis zeigt er außerdem eine Self-Service-Plattform, die mithilfe von Confluent Cloud aufgebaut wurde und eine Verbindung zwischen den Prinzipien des Data Mesh und realen technischen Kompromissen herstellt.

Auch andere Quellen sind ähnlicher Meinung wie wir: Eine Fallstudie aus der Praxis zeigt, wie das Unternehmen Saxo Bank ein Event-getriebenes Data Mesh implementiert hat, und geht in diesem Zusammenhang auch auf Herausforderungen, technologische Entscheidungen und die Implementierung der Data-Mesh-Prinzipien ein.- Es wird eine kurze Historie der Datenprobleme geliefert, wobei unter anderem auch Probleme mit Data Warehouses und Data Lakes angesprochen werden.

  • Zum Thema Data Mesh wird ein vollständiger Überblick geliefert, in dem auch auf die vier Hauptprinzipien eingegangen wird sowie darauf, wie diese bei Event-Streams angewendet werden können.
  • Die Prinzipien zum Aufbau von Datenprodukten werden vorgestellt, unter anderem die Koordination von Datenprodukten, die Integration mit den Quellen und der Aufbau für Consumer-Anwendungsfälle.
  • Es werden Leitlinien für die Erstellung einer Self-Service-Plattform für Product Owners und Consumer im Bereich Data bereitgestellt, um sowohl das Erstellen und Verwalten von Data Products als auch die Discovery und Verwendung zu optimieren.
  • Es wird gezeigt, wie ein Event-getriebenes Data Mesh die Grenzen zwischen betrieblichen und analytischen Anwendungsfällen aus dem Weg räumt und gleichzeitig sowohl Echtzeit-Anwendungen als auch Batch-basierte Jobs ermöglicht.
  • Die Data-Mesh-Implementierung bei Saxo Bank wird vorgestellt und dabei auch auf technische Herausforderung und Empfehlungen für eine erfolgreiche Implementierung eingegangen.
  • Die als Machbarkeitsnachweis dienende Self-Service-Plattform mit Data Mesh von Confluent wird vorgestellt und es wird die Möglichkeit geboten, den Quellcode einzusehen und das Ganze auch einmal selbst zu testen.

Autor

Adam Bellemare

Staff Technologist, Office of the CTO

Adam Bellemare ist Staff Technologist bei Confluent und war zuvor als Data Platform Engineer bei Shopify, Flipp und BlackBerry tätig. Er beschäftigt sich seit über zehn Jahren mit Daten und kann auf eine erfolgreiche Karriere in den Bereichen der Big-Data-Architekturen, Event-getriebenen Microservices und der Einführung von Streaming-Daten in Unternehmen zurückblicken. Er ist außerdem Autor des O’Reilly-Buchs „Building Event-Driven Microservices“.

E-Book herunterladen

Weitere Ressourcen

cc demo
kafka microservices
Image-Event-Driven Microservices-01

Weitere Ressourcen

cc demo
kafka microservices
microservices-and-apache-kafka