So nutzte DATEV Confluent, um seine Mainframe-Daten für die Entwicklung Cloud-nativer Anwendungen nutzbar zu machen

Mehr als zweieinhalb Millionen deutsche Unternehmen profitieren bei ihrer Finanzbuchhaltung direkt oder indirekt von DATEV-Software. Monatlich werden elf Millionen Lohnabrechnungen und über zwei Millionen betriebswirtschaftliche Auswertungen verarbeitet.

Was 1966 als genossenschaftliche Unternehmung für den steuerberatenden Berufsstand begann, hat sich zu einem erfolgreichem Gesamtpaket aus Rechenzentrumsbetrieb, Softwareentwicklung und Beratungsdienstleistung für ca. 40.000 Mitglieder aus Steuerberatung, Wirtschaftsprüfung und Rechtsberatung entwickelt.

DATEV eG sieht sich als „Wegbereiter der Digitalisierung“ für den steuerberatenden Berufsstand und möchte den digitalen Wandel in den Kanzleien vollumfänglich begleiten. Um dies den Kunden zu ermöglichen, stellt DATEV sein Produkt- und Dienstleistungsspektrum langfristig auf „cloud-native“ um.

Dies erfordert in der Gesamtarchitektur eine leistungsstarke technische Komponente, die die Vielzahl an Microservice-Kommunikationen robust und skalierbar abhandeln kann.

Hier kommt Confluent als strategischer Partner ins Spiel. Mit Confluent als Fundament ihrer neuen ereignisgesteuerten Architektur beschleunigt DATEV ihre digitale Transformation, indem sie bestehende Mainframe-Anwendungen mit neu entwickelten Anwendungen in öffentlichen und privaten Clouds kombiniert.

Martin Dengler, Lead DevOps Engineer, erklärt: „Bei DATEV sind wir unabhängig, eigenständig und haben nie Angst, etwas Neues auszuprobieren. Auch wenn wir für eher konventionelle Technologien bekannt sind, sind wir im Herzen hochmodern und nutzen eine Reihe von Spitzentechnologien, darunter jetzt auch Kafka und Confluent."

Die Herausforderung

Nichts ist so beständig, wie der Wandel, besonders in der IT. Digitalisierung als „Game-Changer" macht keinen Halt vor dem steuerberatenden Berufsstand. Die Kunden wünschen sich von DATEV eine starke und partnerschaftliche Unterstützung bei der digitalen Transformation.

Die strategische Entscheidung der DATEV, ihre neue Generation von Software-Produkten„Cloud-native" zu entwickeln, brachte große Herausforderungen mit sich, denn „Cloud-native" zu werden bedeutet, Folgendes zu adaptieren:

• andere Architekturen und Technologien in der Softwareentwicklung,

• andere Technologien im Rechenzentrums-/Plattformbetrieb und

• andere Formen der Zusammenarbeit zwischen Entwicklung und Betrieb

Der dazu notwendige strategische, technologische und kulturelle Change wurde 2018 initiiert. Daneben entwickelt und betreibt DATEV seit Jahrzehnten sehr erfolgreich „nicht-Cloud-native" Software am Großrechner und über On-Premise-Installationen.

Somit ergibt sich automatisch die zusätzliche Herausforderung einer „guten" Integration dieser technologischen Welten. Die verschiedenen Technologie Stacks müssen miteinander verbunden werden.

Nach der Bewertung der Optionen entschied sich die DATEV eG für eine Daten-Streaming-Architektur als „Integrator" und „Brücke zwischen den Welten" auf Basis von Apache Kafka.

„Wir haben uns für Kafka entschieden, weil es für uns keine Alternative gab. Es gibt nur alternative Technologien für bestimmte Anwendungsfälle - wie z.B. ActiveMQ, RabbitMQ und Apache Pulsar - aber wir brauchten eine technische Lösung, die breiter in Richtung Event-Streaming aufgestellt ist", so Dengler.

Nach Einführung der Technologie erkannte das DATEV Kafka Team die Ressourcenintensität der eigenständigen Verwaltung von Apache Kafka. In Anbetracht knapper personeller Ressourcen wurde entschieden, die Confluent-Plattform als Basis für eine neue, Event-getriebene Architektur einzusetzen.

Confluent ist ein zentraler Bestandteil des neuen, Cloud-nativen Technologie-Stacks der DATEV und ein wichtiger Integrator, der einen reibungslosen Übergang zwischen technologischen Welten ermöglicht.

Die Lösung

Der Weg zur Cloud-nativen Entwicklung

Der erste Schritt zur Cloud-nativen Entwicklung besteht darin, monolithische Prozesse in kleinere Microservices zu zerlegen und sicherzustellen, dass diese nahtlos miteinander kommunizieren. Software-Produkte werden von Grund auf neu konzipiert, wobei die neue Architektur und der Code an Cloud-native Anforderungen angepasst werden.

Mit dieser Strategie kann DATEV ihr Anwendungsportfolio über eine Cloud-native Plattform direkt an Kunden liefern. Als Bindeglied zwischen der Cloud-nativen und nicht-Cloud-nativen Rechenzentrumswelt wird die Multi-Datacenter-Replikation eingesetzt.

Die Umstellung hin zu einer Event-getriebenen Architektur mit Confluent

Eine bestehende Kafka-Open-Source-Infrastruktur war bei DATEV eG bereits 2017 im Einsatz, aber die Akzeptanz seitens der Entwickler war gering. Die Gründe hierfür waren:

• fehlendes Kafka Operations-Know-how

• fehlendes Kafka Entwicklungs-Know-how

• fehlende Self-Services für Entwickler

• kein definierter Support

Bei der Expansion von Kafka innerhalb des Unternehmens sah sich DATEV mit einer Reihe von Hürden konfrontiert. „Zunächst einmal mussten wir uns mit Kafka an sich auseinandersetzen. Die Erstellung der vielen Topics war dabei nur der Anfang. Die größten Probleme ergaben sich aus ganz konkreten Fragen oder Anforderungen - oder wie Kafka mit unseren internen Prozessen im Vergleich zu den bisher intern genutzten Technologien funktioniert", sagt Dengler.

Confluent war hier eine große Hilfe.

„Es gab einen großen Bedarf an Wissenstransfer, um den Sprung zu schaffen, und Confluent hat uns wesentlich dabei geholfen, das notwendige Wissen und Know-how für unsere Kafka-DevOps aufzubauen. Wir haben die Beratungsangebote des Professional Services- und Trainings-Teams von Confluent in Anspruch genommen und tun dies auch weiterhin. Diese permanente Unterstützung für Kafka durch einen Confluent-Consultant vor Ort war vom ersten Tag an entscheidend für den Erfolg", erklärt Dengler.

Erhebliche Zunahme der Nutzer und Anwendungsfälle

Der Resident Solution Architect von Confluent unterstützte und beriet DATEV in verschiedenen Bereichen rund um die Daten-Streaming-Plattform und die Self-Service-Funktionen. Ein Technical Account Manager war ebenfalls vor Ort, um bei Fragen zu spezifischen Ops-Themen zu helfen, die bei der täglichen Arbeit auftauchen.

„Mit der Hilfe von Confluent haben unsere Teams begonnen, das Potenzial der Plattform zu erkennen. Wir haben festgestellt, dass die Nachfrage nach neuen Anwendungsfällen stetig wächst, da wir in der Lage waren, den ROl zu demonstrieren und Fehler im Design der Plattform und in den Anwendungen zu vermeiden. Die Zusammenarbeit mit einem Partner wie Confluent bedeutet, dass man am Puls der Zeit ist. Man erhält alle aktuellen Informationen, kann an Veranstaltungen teilnehmen und versteht, wie andere auf der Reise vorankommen, was uns hilft, die Probleme im Kern zu verstehen", erklärt Dengler.

Inzwischen gibt es über 100 Microservices-basierteAnwendungsfälle in der gesamten DATEV, was dazu beigetragen hat, effizienter Mehrwert für die Kunden zu liefern.

Die neue, Event-getriebene Architektur hat auch neue Produkte, Funktionen und Anwendungen für Kunden ermöglicht.

Mit der künftigen cloud-basierten Anwendung für das Kanzleimanagement können Steuerberater die Geschäftsprozesse in ihrer Kanzlei digitalisieren und automatisieren, z.B. die Rechnungsschreibung. Die Architektur der Lösung wurde auf Event-Driven Design aufgebaut und hierfür wird Kafka als asynchrone Datendrehscheibe innerhalb der eigenen Anwendungsdomäne, als auch für andere Domänen genutzt. Der Vorteil liegt in der Skalierbarkeit und Entkopplung der Anwendungsdomänen.

Mit dem Kl-gestützten Automatisierungsservice Rechnungen können Steuerberater aus eingescannten Belegen und Rechnungen automatisch Buchungsvorschläge generieren. Und dank Confluent kann die Bereitstellung dieser Belege mit einer Event-driven Architecture erfolgen und somit werden Produktfreigaben beschleunigt und Verbesserungen viel schneller an die Kunden weitergegeben.

Die Ergebnisse

Eine Event-getriebene und Cloud-native Architektur, basierend auf Confluent, hat folgendes ermöglicht:

Unterstützung für zahlreiche Anwendungsfälle

Mit Confluent hat DATEV eG nun eine Plattform, um neue, innovative digitale Services für Kunden anzubieten. Derzeit gibt es über 100 Microservice-basierte Anwendungsfälle, die Verbesserungen in Bezug auf die Servicebereitstellung, Kundenfunktionen und Produktaktualisierungen darstellen.

Da Confluent umfassende Skalierbarkeit bietet, ist das DATEV Kafka Team zuversichtlich, dass es direkt neue Services je nach Bedarf entwickeln und veröffentlichen kann - und diese entsprechend den sich ändernden und wachsenden Kundenanforderungen direkt optimieren, verbessern und skalieren kann.

Optimale Unterstützung, um eine komplexe Plattform sinnvoll für neue Use Cases nutzbar zu machen

DATEV nutzte das Angebot des Professional-Services-Teams von Confluent, um Herausforderungen bei der Entwicklung neuer Anwendungsfälle zu begegnen. Die Premium-Support-Kanäle von Confluent ermöglichten es DATEV eG außerdem, das Innenleben der Technologie mit Spezialisten zu besprechen, was zu einem besseren Verständnis beitrug und dazu, einige der üblichen Fallstricke und technischen Probleme beim Betrieb einer neuen IT-Infrastruktur zu vermeiden.

„Ohne die Berater von Confluent wären wir nicht da, wo wir jetzt sind. Wir wären Lichtjahre zurück. Kafka ist wie ein Atomkraftwerk:Wenn man niemanden hat, der einem sagt, wie es funktioniert, ist es schwer, in einer bestimmten Zeit zu lernen, alles richtig zu machen und keine Probleme zu haben. Ohne Confluent hätten wir das nicht geschafft", sagt Dengler.

Eine flexible Plattform für Entwickler zum Experimentieren

Mit einer vollständig skalierbaren Self-Service-Plattform kann nun jedes Mitglied der Entwickler-Teams bei DATEV eine Rolle bei der Entwicklung und Innovation neuer, aufregender Produkte in seinem Ökosystem spielen. Dies hat den Teams geholfen, abteilungsübergreifend zusammenzuarbeiten, Ideen zu teilen, an Verbesserungen zu arbeiten und innovative Ideen viel schneller auf den Markt zu bringen.

„Dank Confluent haben Cloud-Entwickler in unserem Unternehmen die Möglichkeit, zu entwickeln, Dinge auszuprobieren und zu entscheiden: Ist es das, was Wert für unsere Kunden schafft? Das alles ist Teil unserer neuen Kultur: Unsere Entwicklungs- und Produktionsteams entwickeln sich hin zu einer stärkeren DevOps-Orientierung und Confluent hat uns einen Raum gegeben, in dem wir kreativ denken und etwas Gutes daraus machen können", sagt Dengler.

Was kommt als Nächstes?

„Mit Confluent gibt es ein riesiges Potenzial, das noch nicht ausgeschöpft ist: Wir stehen erst am Anfang der Reise und es gibt noch viel mehr Dinge, die wir tun können - Echtzeit-Event-Verarbeitung, neue Anwendungsfälle... Das Potenzial ist riesig", sagt Dengler.

DATEV hat bereits viel erreicht, will aber noch weiter gehen.

„Aus geschäftlicher Sicht untersuchen wir den Einsatz von Machine Learning beim Monitoring, damit wir Anomalien in Kafka-Logs und Metriken besser erkennen können. Außerdem bauen wir das Self-Service Angebot und die Automatisierung rund um die Plattform von Confluent kontinuierlich aus.", fügt Dengler hinzu.

Letztlich dient alles, was DATEV bisher erreicht hat und in Zukunft erreichen will, der Arbeitserleichterung für Mitarbeiter und Kunden.

„Agilität und Technologie sind lediglich Mittel zum Zweck. Was wir im Kern wirklich brauchen, sind die Menschen. Wir müssen den Rahmen schaffen, in dem Menschen sich verändern und etwas Großartiges schaffen wollen. Und ich denke, mit Confluent tun wir das jetzt", schließt Dengler.

Learn more about DATEV