« Gérer Kafka en interne n'était pas envisageable à cause de la taille de notre équipe et de la charge de travail impliquée. Nous souhaitions nous concentrer sur les fonctionnalités techniques de la plateforme, et confier les autres aspects à l'expertise de Confluent . »
Fabian Schmidt
Senior Expert Product Data Technology , OTTO Group
OTTO est l’une des plus grandes places de marché allemandes. Elle permet à des milliers de marques, commerçants et partenaires de vendre leurs produits. Les clients peuvent y trouver des articles d’électronique, de mode, de sport, mais aussi du mobilier et bien d’autres produits.
En 2018, OTTO a décidé de se diversifier en créant une plateforme d’e-commerce tout-en-un et ultra complète. Mais l’entreprise a rapidement constaté les limites de ses systèmes technologiques existants, dépassés par l’augmentation du volume de produits proposés sur sa plateforme.
En effet, en plus de sa propre gamme de produits, OTTO proposait des articles commercialisés par plus de 6 000 vendeurs tiers et partenaires. L’entreprise devait donc gérer un énorme volume de données et disposer de solides capacités de mise à l’échelle.
Pour soutenir ses objectifs de croissance, OTTO avait besoin d’une architecture flexible capable d’intégrer la technologie déjà utilisée par ses équipes.
L’entreprise s’est d’abord tournée vers une version on prem d’Apache Kafka®. Après quelques années, il est toutefois devenu évident qu’elle ne disposait pas des ressources internes suffisantes pour gérer la croissance de sa place de marché, et qu’il était devenu nécessaire de faire appel à un système entièrement géré. OTTO a choisi de faire confiance à Confluent Cloud pour alimenter sa nouvelle plateforme d’échange d’événements, tout en réduisant sa charge opérationnelle.
« Il n’était pas vraiment envisageable pour nous de gérer Kafka en interne à cause de la taille de notre équipe et de la charge de travail que cela impliquait. Nous avons décidé collectivement de nous concentrer sur les fonctionnalités techniques de la plateforme, et de laisser [Confluent] gérer les autres aspects, qu’ils maîtrisaient bien mieux que nous ! », explique Fabian Schmidt, senior expert product data technology chez OTTO.
Cette décision a permis à OTTO de standardiser l’ensemble de ses flux de données, d’améliorer leur accessibilité et de faciliter l’inscription des nouveaux vendeurs.
Un réseau complexe de sources de données disparates
En tant que plateforme d’e-commerce reconnue, OTTO veille à ce que l’ensemble de ses processus soient tournés vers la satisfaction client. Cela implique notamment d’offrir une gamme de produits aussi riche que possible pour répondre aux besoins variés de la clientèle. Or la stratégie de streaming événementiel d’OTTO reposait auparavant sur des banques de données monolithiques et sur des mécanismes qui reproduisaient les événements avant de les envoyer aux partenaires.
« Nous utilisions une solution de streaming événementiel que nous avions créée nous-mêmes. Ce qui voulait dire que, pour chaque nouveau partenaire qui voulait partager ses données ou utiliser les nôtres, nous devions prévoir une mise en œuvre individuelle » précise Fabian Schmidt.
Pour améliorer l’expérience de ses clients, OTTO devait rendre ses données produits disponibles en tant que service. Mais c’était sans compter la complexité du système existant, qui était dépassé par la multitude de mises à jour de données concomitantes que cela impliquait.
« Notre objectif était que nos clients puissent consommer nos données aussi facilement que possible. Nous voulions aussi leur permettre de gérer sereinement les différentes mises à jour », déclare Fabian Schmidt.
Créer une plateforme d’échange d’événements évolutive
Après avoir évalué différentes options, OTTO a décidé de se tourner vers Confluent pour alimenter son système central, abandonnant son infrastructure vieille de dix ans au profit d’un système à l’épreuve du futur.
Lorsqu’un nouveau vendeur partenaire s’inscrit sur la plateforme e-commerce d’OTTO, l’entreprise reçoit ses données sources, les centralise et les distribue rapidement vers les emplacements adéquats.
OTTO n’a ainsi plus besoin de gérer une mise en œuvre distincte pour chaque client. Cette nouvelle organisation lui a permis de booster son efficacité. « Grâce à Kafka et à Confluent, nous utilisons désormais un seul protocole, ce qui permet aux nouvelles équipes de se lancer très vite », s’enthousiasme Fabian Schmidt.
« Nous disposons de nos propres microservices, qui extraient les données produits pertinentes, les valident, les traitent et créent ensuite de nouveaux flux de données », explique-t-il. « Confluent nous a aidé à combiner plusieurs de nos processus existants pour nous assurer qu’une fois le traitement terminé, nos clients recevront des données fiables et correctes. »
La mise en place initiale s’est déroulée sans accroc grâce à l’expérience dont OTTO bénéficiait déjà sur Kafka, mais aussi à l’assistance des équipes de Confluent. Celles-ci se sont tenues à la disposition des collaborateurs de la place de marché pour les aider à gérer les incidents et à améliorer leur connaissance du produit.
« Grâce aux informations fournies par Confluent, nous avons pu nous familiariser rapidement avec la plateforme. Ils ont été d’une aide précieuse durant la phase pilote », souligne Fabian Schmidt.
Exploiter les avantages d’une plateforme de streaming de données moderne
Grâce à sa plateforme d’échange évolutive alimentée par Confluent, OTTO a obtenu des résultats impressionnants :
Un traitement des données produits en seulement 15 minutes
OTTO a pu abandonner ses banques de données monolithiques et bénéficie désormais de la puissance du streaming événementiel, ce qui permet à ses clients et à ses partenaires d’accéder plus rapidement à leurs données critiques.
« Notre objectif était de faire en sorte que l’ensemble du processus de traitement des données prenne au maximum 15 minutes. C’est un indicateur important pour nous, puisqu’il augmente de manière considérable la pertinence de nos données, au bénéfice de nos clients », déclare Fabian Schmidt.
Une plateforme flexible et évolutive
Grâce à la solution de Confluent, qui ne nécessite qu’une maintenance réduite et qui allie simplicité et évolutivité, OTTO dispose désormais d’une plateforme adaptée à ses besoins. Celle-ci lui permet de poursuivre ses objectifs en inscrivant toujours plus d’utilisateurs et en créant de nouvelles fonctionnalités répondant aux besoins de ses clients.
« Kafka est bien plus simple à mettre à l’échelle que les autres plateformes d’échange de données, car elle offre un débit ultra rapide et n’utilise pas la technologie HTTP pour l’échange de données », explique Torsten Rascher, Team Lead, Integration Services chez OTTO.
Une inscription plus rapide grâce à la standardisation des données
L’accessibilité des données d’OTTO était auparavant limitée, car l’entreprise devait composer avec de nombreux silos de communication. Désormais, les données sont disponibles en quelques clics, ce qui accélère les processus d’inscription et de développement de nouvelles fonctionnalités.
« Nous sommes maintenant capables de standardiser nos données dans leur ensemble, mais également chaque flux de données indépendant. La création de nouveaux topics est aussi devenue plus intuitive. Nous pouvons utiliser nos données dans des scénarios réels bien plus rapidement, ce qui facilite l’inscription de nouveaux clients et la prise en charge de nouveaux cas d’usage », affirme Torsten Rascher
Quelles perspectives d’avenir pour OTTO ?
OTTO dispose désormais des outils dont elle a besoin pour continuer à développer son activité d’e-commerce en Allemagne et à l’international.
« Nous ajoutons régulièrement de nouvelles équipes et de nouveaux cas d’usage, une tendance qui devrait se poursuivre avec la croissance de notre entreprise. Nous sommes actuellement en train de migrer tous les utilisateurs de nos données vers la nouvelle méthode de distribution. Nous travaillons également sur notre infrastructure analytique interne pour essayer d’accélérer notre processus de distribution des données », déclare Fabian Schmidt.
OTTO peut aujourd’hui compter sur sa plateforme, capable de prendre en charge de nouvelles équipes, de nouveaux cas d’usage et de nouvelles lignes de produits, le tout sans effort.
« Le système est parfaitement adapté à nos besoins actuels. Mais il est toujours rassurant de savoir que, si nous avons besoin de plus de bande passante, cela ne posera pas de problème », conclut Fabian Schmidt.
Lancez-vous sur Confluent dès aujourd'hui
Pour toute inscription, recevez 400 $ à dépenser sous 30 jours.
