SumUp skaliert erfolgreich mithilfe eines Data Mesh basierend auf Confluent Cloud

Heutige Kleinunternehmen haben besondere Anforderungen, aber weniger Ressourcen als mittelständische oder große Unternehmen. Seit der Gründung im Jahr 2012 stellt das Fintech-Unternehmen SumUp diesen kleineren Unternehmen eine nutzerfreundliche Zahlungslösung zur Verfügung, um die Wettbewerbsbedingungen zu verbessern.

In den vergangenen zehn Jahren hat sich das Unternehmen von einem schlanken Startup zu einem erfolgreichen Scaleup entwickelt, das seinen Kunden zahlreiche leistungsstarke Dienstleistungen anbietet. Aufgrund des schnellen Wachstums und einer Vielzahl interner Systeme, kundenorientierter Produkte und Funktionen sind bei SumUp immer mehr Datensilos entstanden. Dies erschwerte den Datenzugriff und verlangsamte die Verarbeitung zunehmend.

Um datengetriebene Entscheidungen im Unternehmen zu ermöglichen, hat SumUp Data Mesh-Prinzipien implementiert (darunter föderierte Governance, Data-as-a-Product, Self-Service-Infrastruktur und Domain Ownership), und dadurch die Architektur und das Datenmanagement modernisiert. Confluent Cloud ist in den letzten zwei Jahren zu einem integralen Bestandteil geworden, um allen Teams im Unternehmen zuverlässige und gemeinsam nutzbare Datenprodukte zur Verfügung zu stellen, damit Innovationen und das Geschäftswachstum vorangetrieben werden können.

Eine stagnierende Datenstrategie mit zentralisiertem Datenmanagement

Heute ermöglichen die Kartenlesegeräte und Point-of-Sale-Systeme (POS) von SumUp über 4 Millionen Unternehmen, Zahlungen in 36 Märkten weltweit anzunehmen. Im Zuge des Wachstums der Firma haben firmeninterne Teams – darunter auch das Datenplattformteam – nach Möglichkeiten gesucht, datengesteuerter zu werden und bessere Produkte für Händler zu entwickeln.

In den vergangenen Jahren mussten interne Stakeholder, die auf Daten zugreifen wollten, um neue Geschäftsberichte zu erstellen, Analysetools zu entwickeln oder andere datengesteuerte Anwendungen zu starten, den Weg über das Datenplattformteam gehen. Im Laufe der Zeit wuchs das Volumen dieser Anfragen stetig an, und das überforderte Datenplattformteam wurde unweigerlich zu einem Engpass bei der Generierung zeitnaher Erkenntnisse. Und aus diesem Grund brauchte SumUp einen neuen Ansatz fürs Datenmanagement.

Warum SumUp sich für den Aufbau eines Data Mesh in der Confluent Cloud entschieden hat

Vor der Einführung von Datenstreaming verwendete SumUp eine dreistufige Architektur, bestehend aus einer Präsentations- und Anwendungsebene, einer Geschäftsebene und einer Entwicklungsebene. Um jedoch eine bessere Benutzererfahrung für Händler zu unterstützen, wollte das Datenplattform-Team Data-Mesh-Prinzipien implementieren, indem es zu einer ereignisgesteuerten Architektur migrierte und sich von traditionellen Publish-Subscribe-Messaging-Diensten entfernte.

Als SumUp anfing, verteilte Messagingsysteme zu evaluieren, die das Datenmanagement demokratisieren könnten, entschied sich das Team schnell für Apache Kafka. Im Vergleich zu anderen Streaming-Technologien schienen die robuste Open-Source-Community, die breite Akzeptanz und der nachweisliche Erfolg von Kafka die Antwort auf deine Probleme des Datenmanagements zu sein.

Das Team konnte erfolgreich standardisieren, wie sie Streaming-Daten-Pipelines mit Kafka aufbauen, erkannte aber bald, dass ein Managed Service es ihnen ermöglichen würde, sich auf die Erstellung eines wirklich dezentralen Datenmodells zu konzentrieren. Nach der Evaluierung der verfügbaren Kafka-Dienste entschied sich SumUp für Confluent Cloud, um von dessen Zuverlässigkeit und Benutzerfreundlichkeit zu profitieren.

Die Migration zu Confluent Cloud ermöglichte es dem Datenplattform-Team, bei der Umsetzung der Data Mesh-Prinzipien große Fortschritte zu machen. Der vollständig verwaltete Datenservice ermöglichte es dem Datenplattform-Team, Kafka nahtlos in lokalen und von AWS gehosteten Cloud-Umgebungen bereitzustellen.

Das umfassende Kafka-Know-how von Confluent machte es einfach, dir eine Self-Service-Infrastruktur bereitzustellen – ohne den operativen Aufwand einer self-managed Plattform. Gleichzeitig erleichtert Confluent Cloud den Produktteams die Entwicklung kundenorientierter Anwendungen mit Echtzeit-Datenströmen erheblich.

Dezentrales Dateneigentum mit Self-Service-Datenstreaming

Den Teams die Möglichkeit zu geben, standardisierte, konsumierbare Datenströme zu erstellen und zu besitzen, war ein zentraler Bestandteil der langfristigen Vision des Datenplattform-Teams für SumUp. Dieses Ziel zu verwirklichen, würde bedeuten, dass zuvor isolierte Informationen in wiederverwendbare Datenprodukte umgewandelt werden könnten, die für neue Anwendungsfälle genutzt werden können.

Um diesen Wandel erfolgreich zu vollziehen, musste das Unternehmen neben der Selbstbedienungsinfrastruktur auch eine bereichsbezogene Eigenverantwortung und eine föderale Verwaltung einführen. Dies bedeutete, dass die Teams, die eingehende Daten produzierten oder verwalteten, das resultierende Datenprodukt erstellen und besitzen würden, während das Datenplattformteam die Datenstandards und -richtlinien überwachte.

Warum Confluent die richtige Wahl war, um die Datenstrategie von SumUp umzusetzen

SumUp brauchte eine Möglichkeit, den operativen Aufwand für die Nutzung von Streaming-Diensten zu reduzieren und gleichzeitig eine sehr stabile Daten-Streaming-Plattform für unternehmenskritische Anwendungsfälle zu gewährleisten.

Mit Confluent Cloud kann das Datenplattformteam seine Infrastruktur in Expertenhände geben und sich darauf konzentrieren, sein dezentrales Datenmodell zum Leben zu erwecken – und so anderen Teams die Untersuchung und Implementierung neuer Anwendungsfälle fürs Datenstreaming ermöglichen.

Vor dieser Umstellung nahmen die Dateningenieure des Datenplattformteams die Anfragen der Interessengruppen entgegen, ordneten die Projekte nach ihrer Kapazität und begannen dann mit dem mühsamen Prozess, die einzigartigen Datenanforderungen jeder Anfrage zu verstehen und zu erfüllen.

Für analytische Anwendungsfälle umfasste dieser Prozess:

• Identifizieren von Datenquellen und -senken

• Erstellen von Datenmodellen basierend auf Berichts- oder Analyseanforderungen

• Erstellung von Datenpipelines zur Anbindung an die Data-Warehouse-Architektur

• Unterstützung der Stakeholder beim Erstellen von Berichten auf Grundlage der resultierenden Daten

Als die Firma wuchs und neue Produkte einführte, war es für das Datenplattform-Team eine Herausforderung, die Dateninfrastruktur nach Bedarf zu skalieren. Selbst als sie begannen, neue Pipelines mit einer Event-Streaming-Architektur zu verwenden und einzuführen, war die Fähigkeit des Datenplattformteams, seine Dienste im gesamten Unternehmen zu skalieren, durch die Kapazität zum Aufbau neuer Pipelines begrenzt.

In dieser Phase konnten nur wenige Projekte pro Quartal berücksichtigt werden, wodurch wertvolle Anwendungsfälle immer wieder verschoben wurden. Durch den Einsatz von Confluent Cloud konnte dagegen mehr Zeit für die Erstellung zuverlässiger, gemeinsam nutzbarer Datenprodukte aufgewendet und der Aufwand für die Verwaltung der Dateninfrastruktur und die Behebung von operativen Problemen erheblich reduziert werden.

Wie SumUp die Enterprise-Funktionen von Confluent Cloud nutzte

Die serverlosen, Cloud-nativen Funktionen von Confluent Cloud ermöglichen es der Daten-Streaming-Plattform, nahtlos mit deiner Microservices-Architektur zusammenzuarbeiten, die in Amazon RDS-Instances für PostgreSQL gehostet wird. Dadurch konnten die internen Teams die Self-Service-Funktionen von Confluent Cloud sofort nutzen.

Heute veröffentlichen die einzelnen Teams bei SumUp unabhängig voneinander Streaming-Daten direkt in der Confluent Cloud. Dadurch können andere Teams diese Streams nutzen, um bestehende Produkte zu erweitern oder neue Möglichkeiten zu entwickeln, SumUp datengesteuerter zu machen.

Das Datenplattform-Team von SumUp nutzt jetzt Confluent Cloud, um Kafka-Plattformdienste bereitzustellen und eine konsistente Datenqualität beim Senden von Nachrichten an Endsysteme für die Datenmodellierung zu gewährleisten. Zusätzlich zu Open-Source-Funktionen wie Kafka Connect nutzt das Team auch die einzigartigen Fähigkeiten von Confluent:

• Sicherheit und Governance auf Unternehmensniveau (z. B. rollenbasierte Zugriffskontrolle)

• Unbeschränkte Produktivität für Entwickler (z. B. Schema Registry)

• Cloud-native Leistung und Elastizität (z. B. Confluent für Kubernetes und der Confluent Operator)

Mehr als 20 Teams bei SumUp nutzen jetzt Daten-Streaming

Durch die Implementierung von Data Mesh-Prinzipien mit Confluent Cloud hat das Datenplattform-Team wertvolle Datenströme zugänglicher, zuverlässiger und gemeinsam nutzbar gemacht. Über alle Geschäftsfunktionen hinweg verfügen die Teams jetzt über eine gemeinsame Plattform zum Veröffentlichen, Transformieren und Teilen der Streaming-Daten, die SumUp braucht, um effizienter zu werden und seinen Händlern bessere Produkte anbieten zu können.

Beschleunigung der Einführung von Datenstreaming mit einem dezentralen Datenmodell

Mit Confluent können Teams, die Kafka-Anwendungsfälle implementieren, Datenprodukte einfach erstellen und teilen, ohne auf den Support des Datenplattform-Teams warten zu müssen. Wenn ein Team nun Zugriff auf Daten benötigt, kann es die Anfrage einfach direkt an die Dateneigentümer richten und sie bitten, die Daten in Confluent Cloud zu veröffentlichen, damit die Dateningenieure des zuständigen Teams wiederverwendbare Datenprodukte erstellen können.

Die Beseitigung des Engpasses bei der Datenverwaltung ermöglicht es nicht nur mehr Teams, Datenstreaming in ihre kundenorientierten Produkte, Berichtssysteme und Analyseanwendungen zu integrieren, sondern auch dem Datenplattformteam, sich auf höherwertige Aufgaben zu konzentrieren, wie z. B. die Bereitstellung von mehr Kafka-Plattformdiensten für die wachsende Zahl von Teams, die Confluent Cloud bei SumUp nutzen.

Unternehmensweite Implementierung kritischer Anwendungsfälle

Inzwischen nutzen mehr als 20 Teams bei SumUp Confluent Cloud, um innovative, geschäftskritische Anwendungsfälle umzusetzen:

Global Bank Tribe: Dieses funktionsübergreifende Team ist für den Betrieb der SumUp Bank- und Zahlungsdienste für Händler verantwortlich. Die Verwendung von Confluent Cloud ermöglicht es deiner Bank, ihre Datenverteilungsmöglichkeiten zwischen Microservices zu stärken, die dabei helfen, Transaktionsdatensätze zu aktualisieren, die dann in Echtzeit an die Händlerkonten übertragen werden. Durch die Erstellung wiederverwendbarer Datenprodukte mit Echtzeit-Transaktionsdaten konnte das Team eine verbesserte Belastbarkeit in Anwendungsfällen feststellen, in denen täglich riesige Datenmengen verarbeitet werden – wie etwa bei der Überwachung rund um die Uhr, der Betrugserkennung oder personalisierten Empfehlungen auf Grundlage deiner Händlerkontoaktivität. Dies führt zu einem besseren Erlebnis für SumUp-Händler und einem gestärkten Vertrauen.

Team für Kundenbeziehungsmanagement (CRM): Das CRM-Team verwendet Confluent Cloud, um den Betriebsteams innerhalb des CRM-Systems Informationen über Kunden und die von ihnen verwendeten Produkte in Echtzeit zur Verfügung zu stellen. Die Abkehr von der Stapelverarbeitung und die Umstellung auf Echtzeit-Datenstreaming ermöglicht ein nahtloseres Kundenerlebnis und erlaubt es dem CRM-Team, seine Streaming-Daten im gesamten Unternehmen zu teilen.

Plattformteam für Risikodaten und maschinelles Lernen: Dieses Team verwaltet Verbindungen zwischen Streaming-Aggregationsprozessen fast in Echtzeit und dem SumUp Feature Store. Der Einsatz von Confluent Cloud ermöglicht es dem Team, die Datenpipelines zu standardisieren, mit denen die maschinellen Lernmodelle gefüttert werden, so dass diese Modelle Entscheidungen auf der Grundlage der neuesten Daten treffen und den SumUp-Teams und -Kunden einen größeren Mehrwert bieten können.

Ausblick: SumUp und Confluent Cloud

Heute evaluieren immer mehr Unternehmensbereiche bei SumUp neue Anwendungsfälle für Daten-Streaming, um den Kunden einen höheren Mehrwert zu bieten und das Unternehmen effizienter zu machen. Mit Confluent Cloud als Daten-Streaming-Plattform kann das Data-Platform-Team ganz einfach neue Nutzer einbinden.

Zeitnah sollen zudem Multi-Region-Cluster in den Data Mesh eingebunden werden. Derzeit ist die Infrastruktur des Unternehmens hauptsächlich auf Europa ausgerichtet. Da SumUp mittlerweile in den USA, Australien und Lateinamerika aktiv ist, soll auch die Architektur für eine globale Nutzung angepasst werden.

In Kombination mit der föderierten Governance- und Self-Service-Infrastruktur von SumUp können die Produktteams alle Governance- und regulatorischen Anforderungen erfüllen, um in diesen Ländern zu operieren.

Das Data-Platform-Team möchte zudem Tools wie ksqlDB und REST Proxy nutzen, um die Echtzeit-Stream-Verarbeitung und Daten-Weitergabe umzusetzen. Diese Möglichkeiten erleichtern einer ständig wachsenden Anzahl von Confluent Cloud-Nutzern bei SumUp den Zugang zu Datenprodukten, um:

• Geschäftsprozesse und Reporting durch kontinuierlich aktualisierte Informationen zu verfeinern

• Die Nutzung von IT-Ressourcen und Backend-Systemen zu optimieren

• Echtzeitanwendungen und -Services bereitzustellen, die von Händlern geschätzt werden

Mehr über SumUp erfahren