Daten-Streaming: Eine umfassende Einführung

Daten stammen heutzutage aus einer grenzenlosen Menge von Quellen: IoT-Sensoren, Servern, Sicherheitsprotokollen, Anwendungen oder internen/externen Systemen. Es ist nahezu unmöglich, die Struktur und die Datenintegrität zu regulieren oder die Menge und Geschwindigkeit der generierten Daten zu kontrollieren.

Während traditionelle Lösungen darauf ausgelegt sind, Daten aufzunehmen, zu verarbeiten und zu strukturieren, bevor sie genutzt werden können, so bieten Streaming-Datenarchitekturen zusätzlich die Möglichkeit, Data in Motion zu nutzen, zu speichern, aufzubereiten und zu analysieren.

Aus diesem Grund werden Anwendungen, die mit Datenströmen arbeiten, immer auf zwei Hauptfunktionen angewiesen sein: die Speichern und die Verarbeitung. Bei der Speicherung müssen große Datenströme auf sequenzielle und einheitliche Weise erfasst werden können. Bei der Verarbeitung geht es darum, mit dem Speicher zu interagieren und Daten zu verwerten, zu analysieren und als Grundlage für Berechnungen zu nutzen.

Dies führt zu weiteren Herausforderungen und Überlegungen, wenn mit überholten Datenbanken und Systemen gearbeitet wird. Mittlerweile gibt es zahlreiche Plattformen und Tools, die Unternehmen bei der Entwicklung von Streaming-Datenanwendungen unterstützen.

Zu den Praxisbeispielen für Daten-Streaming zählen Anwendungsfälle für alle Branchen, einschließlich Echtzeit-Aktienhandel, minutengenaues Bestandsmanagement im Einzelhandel, Social-Media-Feeds, Multiplayer-Spiele und Ridesharing-Apps.

Wenn ein Fahrgast beispielsweise über Lyft eine Mitfahrgelegenheit bestellt, fließen Echtzeit-Datenströme zusammen, um für ein nahtloses Benutzererlebnis zu sorgen. Mithilfe dieser Daten verbindet die Anwendung Echtzeit-Standortnachverfolgung, Verkehrsstatistiken, Preise und Echtzeit-Verkehrsinformationen miteinander, um den bestmöglichen Fahrer für den Fahrgast zu finden, die Preise zu berechnen und die geschätzte Ankunftszeit am Zielort auf Grundlage von sowohl Echtzeit- als auch historischen Daten zu bestimmen.

Streaming-Daten stellen für datengesteuerte Unternehmen somit den ersten Schritt in Richtung Einspeisung, Integration und Echtzeit-Analysen von Big Data dar.

Bei der Batch-Verarbeitung müssen Daten als Batches heruntergeladen werden, bevor sie verwertet werden können, wohingegen Streaming-Daten die gleichzeitige Verarbeitung, Speicherung und Analyse in Echtzeit ermöglichen.

Für die meisten modernen Use Cases mit komplexen Anforderungen ist eine veraltete Batch-Datenverarbeitung nicht mehr ausreichend, da Daten nur in Gruppen von Transaktionen, die über eine gewisse Zeit gesammelt wurden, verarbeitet werden können. Moderne Unternehmen müssen Daten sekundenschnell nutzen, bevor diese schon wieder veraltet sind. Der Echtzeitzugriff auf Daten bietet zahlreiche Vorteile und Anwendungsfälle.

Skalierbarkeit: Bei Systemausfällen können die von den einzelnen Geräten kommenden Protokolldaten von einer Übertragungsrate von Kilobit pro Sekunde auf Megabit pro Sekunde ansteigen und zu Gigabit pro Sekunde aggregiert werden. Das Hinzufügen von Kapazitäten, Ressourcen und Servern während der Skalierung von Anwendungen geschieht blitzschnell und erhöht die generierte Menge an Rohdaten exponentiell. Die Entwicklung von skalierbaren Anwendungen ist essenziell, wenn mit Streaming-Daten gearbeitet wird.

Reihenfolge: Die Bestimmung der Datenfolge in Datenströmen ist nicht außer Acht zu lassen, denn für viele Anwendungen ist sie von großer Bedeutung. Ein Chat oder ein Gespräch würden ohne die richtige Reihenfolge auch keinen Sinn ergeben.

Wenn Entwickler versuchen, ein Problem zu lösen, indem sie sich die aggregierten Protokolldaten anschauen, muss jede Zeile an der richtigen Stelle stehen. Oft gibt es Diskrepanzen zwischen der Reihenfolge des generierten Datenpakets und der Reihenfolge, in der es am Zielort ankommt. Auch bei Zeitstempeln und Uhren von Geräten, die Daten generieren, kommt es oft zu Abweichungen. Bei der Analyse von Datenströmen müssen Anwendungen die Voraussetzungen für ACID-Transaktionen berücksichtigen.

Konsistenz und Dauerhaftigkeit: Datenkonsistenz und Datenzugriff stellen immer ein großes Problem bei der Verarbeitung von Datenströmen dar. Die Daten, die zu einem bestimmten Zeitpunkt gelesen werden, könnten bereits in einem Rechenzentrum irgendwo anders auf der Welt modifiziert worden oder veraltet sein. Die Dauerhaftigkeit von Daten bildet auch eine Herausforderung bei der Anwendung von Datenströmen in der Cloud.

Fehlertoleranz und Datengarantien: Diese beiden Aspekte spielen bei der Arbeit mit Daten, bei der Datenstromverarbeitung und bei allen verteilten Systemen eine wichtige Rolle. Sind die vorhandenen Systeme in der Lage, Ausfälle durch einen einzigen Fehlerpunkt zu verhindern, wenn Daten aus zahlreichen Quellen und von unterschiedlichen Standorten kommen und in verschiedenen Formaten und Mengen vorliegen? Können sie Datenströme mit hoher Verfügbarkeit und Dauerhaftigkeit speichern?