Von null auf hundert mit Kafka Connect

Build Predictive Machine Learning with Flink | Workshop on Dec 18 | Register Now

Jetzt registrieren

On-Demand verfügbar

Die zuverlässige und skalierbare Integration von Apache Kafka® mit anderen Systemen ist zumeist ein wesentlicher Bestandteil einer Streaming-Plattform. Hierfür stellt Apache Kafka die Connect-API bereit, die die Streaming-Integration sowohl in als auch aus Kafka ermöglicht. Wie bei jeder Technologie ist das Know-how über Architektur und Deployment-Muster der Schlüssel zur erfolgreichen Nutzung, ebenso wie der Zugang zu Lösungsansätzen, wenn etwas nicht funktioniert.

In diesem Vortrag werden die wichtigsten Designkonzepte in Apache Kafka Connect und die Vor- und Nachteile von eigenständigen gegenüber verteilten Deployment-Modi erläutert. In einer Live-Demo wird der Aufbau von Pipelines mit Apache Kafka Connect gezeigt, um Daten aus Datenbanken und zu verschiedenen Zielen zu streamen, einschließlich Elasticsearch. Anhand häufig auftretender Probleme mit Apache Kafka Connect zeigen wir praxisnah, wie diese methodisch diagnostiziert und behoben werden können. Zum Abschluss des Vortrags werden fortgeschrittenere Themen wie Single Message Transforms und das Deployment von Kafka Connect in Containern erörtert.

Robin MoffattPrincipal DevEx Engineer

Robin is a Principal DevEx Engineer at Decodable as well as an Oracle Groundbreaker Ambassador. His career has always involved data, from the old worlds of COBOL and DB2, through the worlds of Oracle and Hadoop, and into the current world with Kafka. His particular interests are analytics, systems architecture, performance testing and optimization. He blogs at http://cnfl.io/rmoff and http://rmoff.net/ and can be found tweeting grumpy geek thoughts as @rmoff. Outside of work he enjoys drinking good beer and eating fried breakfasts, although generally not at the same time.