Comment Confluent a permis à DATEV de créer des applications cloud native en tirant parti de ses données de mainframe

Plus de deux millions et demi d'entreprises allemandes profitent directement ou indirectement des logiciels de DATEV pour leurs opérations de comptabilité financière. L'entreprise traite ainsi chaque mois onze millions de bulletins de paie et plus de deux millions d'évaluations commerciales.

Lancée en 1966 en tant qu'entreprise coopérative, DATEV offre aujourd'hui des solutions de centre de données, de développement logiciel et de consulting à environ 40.000 membres issus du conseil en fiscalité, de l'audit et du conseil juridique.

DATEV eG se considère comme « un précurseur du numérique » et aide les chambres fiscales à mener à bien leur transformation digitale. Afin de répondre aux besoins de ses clients, l’entreprise a décidé de transférer l’ensemble de ses produits et services vers un environnement cloud native.

Pour pouvoir mener à bien ce transfert, elle avait besoin d’une infrastructure technique puissante lui permettant de gérer efficacement et de manière flexible la communication entre ses microservices.

Elle s'est alors tournée vers Confluent, qui est devenu un véritable partenaire stratégique. En utilisant Confluent pour alimenter sa nouvelle architecture axée sur les données, DATEV a pu accélérer sa transformation numérique en combinant ses applications mainframe et des applications nouvellement créées sur des clouds publics et privés.

Comme l'explique Martin Dengler, Lead DevOps Engineer: « Les équipes de DATEV sont indépendantes et autonomes, et n'ont pas peur de la nouveauté. Même si nos systèmes traditionnels ont largement fait leurs preuves, notre entreprise est intrinsèquement moderne et nous prenons en charge de nombreuses technologies de pointe, y compris Confluent. »

Le défi

Il n'y a rien de plus constant que le changement, en particulier dans l'informatique. Le secteur du conseil en fiscalité n'échappe pas à la révolution du numérique: les clients de DATEV sont nombreux à attendre de l'entreprise qu'elle les assiste, de manière coopérative et efficace, dans leurs initiatives de transformation digitale.

Pour répondre à leurs attentes, DATEV a adopté une stratégie consistant à développer des produits logiciels cloud native. Une décision qui s'est accompagnée de nombreux défis, car une transition vers le cloud implique la mise en place :

• De nouvelles architectures et technologies de développement logiciel

• De nouvelles technologies au sein des centres de données et des plateformes opérationnelles

• De nouvelles formes de coopération entre les développeurs et les équipes des opérations

Cette transition à la fois stratégique, technologique et culturelle a débuté en 2018. En parallèle et depuis ses débuts, DATEV développe et exploite avec succès des logiciels « non cloud native », que ce soit au sein d'environnements de mainframe ou d'installations on prem.

L'entreprise a donc dû faire face à un autre défi : créer une intégration efficace entre ces environnements technologiques distincts afin de pouvoir connecter les deux types d'infrastructure de manière efficace.

Après avoir étudié différentes options, DATEV a décidé d'opter pour une architecture de streaming de données basée sur Kafka pour assurer cette connexion.

« Nous avons choisi Kafka parce que c'était la seule solution capable de répondre à nos besoins. Il existe bien sûr d'autres services adaptés à des cas d'usage spécifiques (comme ActiveMQ, RabbitMQ ou Apache Pular), mais nous étions à la recherche d'une solution technique utilisable à grande échelle pour le streaming événementiel », explique Martin Dengler.

Les équipes de DATEV se sont toutefois rapidement rendu compte que la gestion de Kafka nécessitait une quantité considérable de ressources. Ne pouvant pas solliciter plus de collaborateurs, l'entreprise a alors pris la décision de se tourner vers Confluent Platform pour poser les bases d'une nouvelle architecture axée sur les événements.

Confluent est ainsi devenu un élément central de la nouvelle infrastructure cloud native de DATEV, mais aussi un facteur d'intégration important, puisqu'il permet de transférer facilement des données entre deux environnements technologiques fondamentalement différents.

Solution

Vers un développement cloud native

La première étape de la transition était de transformer les applications monolithiques utilisées jusqu'ici par l'entreprise en plusieurs microservices capables de communiquer efficacement entre eux. Les produits logiciels ont ensuite été repensés afin que leur architecture et leur code répondent aux exigences d'un produit véritablement cloud native.

Grâce à cette stratégie, DATEV est désormais en mesure de fournir ses applications directement à ses clients via une plateforme cloud-native. La fonctionnalité Multi-Datacentre-Replication sert de connecteur entre les environnements cloud native et les centres de données non cloud native.

Gérer la transition vers une architecture axée sur les événements avec Confluent

Si la version open source de Kafka était utilisée chez DATEV depuis 2017, son taux d'adoption du côté des développeurs était faible, et ce, pour plusieurs raisons :

• Le manque de connaissances opérationnelles de Kafka

• Le manque de connaissances en matière de développement Kafka

• L'absence de fonctionnalités en libre-service pour les développeurs

• Le manque d'assistance

Au fur et à mesure de la croissance de Kafka au sein de l'entreprise, DATEV a été confrontée à plusieurs difficultés. « Pour commencer, nous avons du nous familiariser avec Kafka. Nous avons essayé de gérer nous-mêmes les problématiques successives, mais ce n'était jamais suffisant. Il était compliqué de gérer certaines questions ou demandes très spécifiques liées à l'intégration de Kafka dans nos processus internes, qui était différente de celle des technologies que nous utilisions jusqu'alors. », précise Martin Dengler.

Confluent a été d'une grande aide à cet égard.

« Nous faisions aussi face à des difficultés en matière de transfert de connaissance. Confluent nous a aidés à fournir à nos équipes DevOps les connaissances et le savoir-faire dont elles avaient besoin pour optimiser leurs activités. Nous avons bénéficié des conseils de l'équipe Professional Services and Training de Confluent, qui nous assiste encore aujourd'hui. C'est grâce à l'aide permanente de leurs consultants Kafka que nous avons pu y arriver. », reconnaît Martin Dengler.

Augmentation notable du nombre d'utilisateurs et de cas d'usage

Un Solution Architect de Confluent a ainsi aidé et conseillé DATEV eG sur différentes questions relatives à la plateforme de streaming de données et aux fonctionnalités en libre-service. Les équipes ont également bénéficié de l'aide d'un Technical Account Manager sur certaines problématiques liées aux opérations quotidiennes.

« Avec l'aide de Confluent, nos équipes ont pris conscience du potentiel de la plateforme. Alors que le nombre de cas d'usage augmentait de manière constante, nous avons pu maintenir un bon ROl et éviter certaines erreurs, que ce soit dans la conception même de la plateforme ou dans le cadre de cas d'usage spécifiques. En collaborant avec Confluent, nous avons également pu bénéficier des dernières informations et assister à des événements qui nous ont permis de découvrir comment d'autres entreprises abordent leur transition vers le streaming de données. Cela nous a aidé à comprendre l'origine des problématiques que nous rencontrions ».

DATEV prend aujourd'hui en charge plus de 100 cas d'usage basés sur les microservices, ce qui lui permet d'offrir à ses clients une expérience de premier ordre.

La mise en place d'une architecture axée sur les événements permet également à l'entreprise de proposer à ses clients de nouveaux produits, de nouvelles fonctionnalités et de nouvelles applications.

Grâce à la prochaine application de gestion de cabinet basée sur le cloud, les conseillers fiscaux peuvent numériser et automatiser certains processus de leur cabinet, notamment la facturation. Cette plateforme utilise une architecture basée sur les événements dans laquelle Kafka offre un hub de données asynchrone utilisable dans de multiples domaines d'application. Les principaux avantages de cette architecture sont une grande évolutivité et la séparation des domaines d'application.

La fonctionnalité d'automatisation des factures basée sur l'IA permet quant à elle aux conseillers fiscaux de générer automatiquement des suggestions d'enregistrement à partir de reçus et de factures scannés. Et, grâce à Confluent, DATEV peut utiliser son architecture axée sur les événements pour traiter ces documents et ainsi accélérer la commercialisation et l'optimisation des produits.

Résultats

L'intégration du mainframe et la mise en place d'une architecture cloud grâce à Confluent présentent de nombreux avantages :

Prise en charge d'un grand nombre de cas d'usage

Confluent a aidé DATEV eG à tirer pleinement parti de ses données de mainframe et à mettre en place une plateforme qui lui permet d'offrir à ses clients des services numériques inédits. L'entreprise utilise actuellement ses données de mainframe pour alimenter plus de 100 cas d'usage basés sur des microservices, ce qui lui a permis d'améliorer la variété et la fiabilité de ses services, ainsi que l'optimisation de ses produits.

Grâce à l'évolutivité de Confluent, l'équipe en charge de Kafka chez DATEV est désormais en mesure de créer, développer et mettre en production de nouveaux services qui répondent aux besoins des clients. Elle peut également améliorer ces services et les mettre à l'échelle pour les adapter à l'évolution des besoins.

Assistance optimisée pour la prise en charge de nouveaux cas d'usage

DATEV tire parti des services professionnels (et des services de conseil) de Confluent pour résoudre les problèmes pouvant survenir lors de la mise en œuvre de nouveaux cas d'usage. Les services d'assistance premium de Confluent permettent également à DATEV d'échanger avec des spécialistes sur le fonctionnement de la technologie, ce qui aide les équipes à améliorer leurs connaissances et à éviter les écueils et problèmes techniques généralement associés à la mise en place d'une nouvelle infrastructure informatique.

« Sans les consultants de Confluent, nous n'en serions pas là aujourd'hui. Nous aurions des années lumières de retard. Kafka est comme une centrale nucléaire : sans un expert pour vous en expliquer le fonctionnement, vous auriez beaucoup de mal à l'utiliser et à le maîtriser rapidement, sans rencontrer des problèmes. Sans l'aide de Confluent, nous n'aurions pas pu nous en sortir », explique Martin Dengler.

Grande flexibilité pour permettre aux développeurs de réaliser des tests

Les développeurs de DATEV disposent désormais d'une plateforme évolutive en libre-service, ce qui leur permet de participer au développement de produits innovants dans divers domaines. Les différents services peuvent ainsi collaborer, partager leurs idées, travailler à des améliorations et commercialiser de nouveaux produits bien plus rapidement.

« Grâce à Confluent, nos développeurs cloud ont désormais la possibilité de lancer un nouveau projet de développement, et de faire des tests afin de déterminer si leur idée pourrait être bénéfique à nos clients. Cela s'inscrit parfaitement dans notre nouvelle culture d'entreprise: nos équipes de développement et de production évoluent pour s'orienter de plus en plus vers le DevOps, et Confluent leur offre un espace où elles peuvent se montrer créatives et mettre en œuvre leurs idées. », déclare Dengler.

Perspectives d'avenir

« Confluent nous offre un potentiel considérable, que nous n'avons pas encore pleinement exploité: nous sommes au début de l'aventure, et les possibilités sont multiples (traitement d'événements en temps réel, nouveaux cas d'usage, etc.).Nous avons encore tellement de choses à faire ensemble ! », s'enthousiasme Martin Dengler.

Si DATEV a déjà accompli de grandes choses, l'entreprise ne compte pas s'arrêter là.

« Nous évaluons actuellement le potentiel du machine learning pour des activités de surveillance. La technologie pourrait nous aider à mieux repérer les anomalies au sein des logs et des données de Kafka, mais également à proposer de nouveaux produits à nos clients, par exemple des outils d'assistance vocale ou des fonctionnalités de libre-service. », ajoute Martin Dengler.

En définitive, tout ce que DATEV a accompli jusqu'ici (et souhaite accomplir à l'avenir) vise à faciliter le travail de ses employés et de ses clients.

« La technologie et l'agilité ne sont que des moyens d'arriver à nos fins. Car, au final, ce qui importe le plus, ce sont les gens. Nous devons créer un cadre qui les encourage à innover et à créer de grandes choses. C'est précisément ce que nous faisons avec Confluent. », conclut Martin Dengler.

Learn more about DATEV