Vom Log zum Live-Event: Debezium bringt Daten in Bewegung

Viele Unternehmen stehen vor der Herausforderung, dass Änderungen in ihren Datenbanken zeitnah und ohne langsame Batch-Prozesse oder ständiges Polling, zum Beispiel in Reporting-Systemen, verfügbar sein müssen.

Change Data Capture (CDC) bietet hierfür einen bewährten Ansatz. In diesem Artikel analysieren wir anhand eines beispielhaften Shop-Projekts, wie sich mit Debezium, Apache Kafka und Apache Flink eine Pipeline für Echtzeit-Daten aufbauen lässt.

Die Idee hinter Change Data Capture

In vielen klassischen Datenarchitekturen werden Daten in festen Abständen übertragen. Das funktioniert zwar, führt aber zu Verzögerungen und erschwert damit Analysen in nahezu Echtzeit (near-real-time). Change Data Capture erfasst dagegen jede Änderung in der Datenbank in Echtzeit.

Debezium ist ein Open-Source-Framework für Change Data Capture. Es liest die Transaktionslogs von Datenbanken wie MySQL, PostgreSQL oder Microsoft SQL-Server, erkennt Änderungen sofort und übergibt sie als Events an Apache Kafka. 

Ein Apache Kafka Beispiel-Event:

{
"op": "u",
"before": { "id": 1, "quantity": 5 },
"after": { "id": 1, "quantity": 4 },
"source": { "table": "inventory" },
"ts_ms": 1734567890123
} 

Hier wurde ein Datensatz in der Tabelle inventory aktualisiert. In diesem Beispiel hat ein Kunde einen Artikel gekauft und der entsprechende Lagerbestand „quantity“ muss angepasst werden. Entscheidend ist dabei nicht nur, dass sich der Datensatz ändert, sondern wie Debezium diese Änderung abbildet. Das Event enthält sowohl den vorherigen Zustand (before) als auch den neuen Zustand (after) des Datensatzes. Dadurch können nachgelagerte Systeme exakt nachvollziehen, was sich geändert hat, ohne selbst die Datenbank abzufragen. Zusätzlich liefert das Event Metadaten, wie die betroffene Tabelle und den Zeitpunkt der Änderung. Kafka verteilt dieses Event anschließend an alle angebundenen Konsument:innen, etwa für eine Lagerüberwachung, Analysen oder Live-Dashboards.  

Die Rolle von Apache Kafka

Apache Kafka ist das Herz dieser Architektur. Es ist ein verteiltes Nachrichtensystem, das Ereignisse zuverlässig speichert und an verschiedene Systeme weiterleitet.

Die Architektur basiert auf drei Komponenten:

• Produzent:innen senden Nachrichten, hier Debezium.
• Topics speichern die Ereignisse in partitionierten Logs.
• Konsument:innen abonnieren Topics und reagieren auf neue Ereignisse, beispielsweise Microservices oder Dashboards.

Durch diese entkoppelte Kommunikation landen Änderungen aus der Datenbank direkt in Kafka. Anwendungen müssen nicht mehr direkt auf die Datenbank zugreifen. 

Apache Flink für Streaming Logik

Sobald die Daten in Kafka vorliegen, kommt Apache Flink ins Spiel. Flink ist ein Framework für Stream Processing, also für die kontinuierliche Verarbeitung von Daten in Echtzeit.

In unserem Shop-Projekt dient Flink als Verarbeitungsschicht zwischen den Rohdaten aus der Datenbank und den Anwendungen, die diese Informationen nutzen. Einzelne Bestell-Events werden dabei nicht nur konsumiert, sondern über Zeitfenster hinweg aggregiert. So entstehen zum Beispiel fortlaufend aktualisierte Kennzahlen wie die Anzahl oder der Wert von Bestellungen pro Minute, die Flink als eigene Events wieder in Kafka schreibt.

Diese abgeleiteten Ereignisse können anschließend von verschiedenen Systemen genutzt werden, etwa für Live-Dashboards, Monitoring oder Benachrichtigungen. Auf ähnliche Art und Weise lassen sich auch Veränderungen im Lagerbestand überwachen. Sinkt der Bestand unter einen definierten Wert oder treten ungewöhnliche Schwankungen auf, erkennt Flink diese Muster in Echtzeit und erzeugt entsprechende Ereignisse.

Die Berechnung erfolgt dabei direkt und konsistent im Stream, anstatt dieselbe Logik in mehreren Anwendungen zu duplizieren. Durch die enge Integration mit Kafka fließen die Daten mit sehr geringer Latenz durch die gesamte Pipeline und Flink übernimmt damit die Aufgabe, aus technischen CDC-Events fachlich verwertbare Informationen zu formen.

Architektur im Überblick

1. PostgreSQL enthält die operativen Shop-Daten: Produkte, Bestellungen und den Lagerbestand.
2. Debezium liest Änderungen aus dem Write-Ahead-Log (das Transaktionsprotokoll von PostgreSQL) und schreibt sie in Kafka.
3. Kafka verteilt die Ereignisse an alle interessierten Systeme.
4. Flink verarbeitet die Events in Echtzeit, beispielsweise Filter und Aggregationen.
5. Die Shop-App empfängt die Ergebnisse live. Nutzer:innen sehen sofort, wenn ein Produkt ausverkauft ist oder ein neuer Auftrag eingeht. 

Vorteile und Erkenntnisse

Diese Architektur bietet gegenüber einem klassischen Ansatz folgende Vorteile:

• Einfache Integration in bestehende Systeme, da die Datenbank nicht angepasst werden muss.
• Geringe Latenz, wobei Änderungen meist innerhalb einer Sekunde sichtbar sind.
• Hohe Skalierbarkeit durch Kafkas verteilte Architektur.
• Robustheit gegenüber Ausfällen, da ein Consumer den Stream später erneut lesen kann.
• Transparenz, da jede Änderung nachvollziehbar ist und als Echtzeit-Audit-Log dient.

Fazit

Mit Debezium, Kafka und Flink lassen sich moderne und reaktive Systeme aufbauen, bei denen Anwendungen nicht nur Daten speichern, sondern unmittelbar auf Änderungen reagieren.

Ob für Live Monitoring, Data Warehousing, Analysen oder die Kommunikation zwischen Microservices, Change Data Capture bietet eine leistungsfähige Grundlage für Echtzeitdaten in modernen Architekturen.

Wichtigste Erkenntnis aus dem Projekt: Echtzeit Daten sind kein Luxus. Sie sind die Basis moderner Anwendungen. 

Call-to-Action

Wenn ihr lernen möchtet, wie ihr Change Data Capture (CDC) mit Kafka und Flink in bestehende Systeme integrieren könnt oder wenn ihr ein eigenes Echtzeit-Projekt plant, dann startet am besten mit einer kleinen Proof-of-Concept-Pipeline.

Beginnt mit einer einzelnen Tabelle, aktiviert Debezium, schreibt die Änderungen in ein Kafka-Topic und verarbeitet die Events anschließend mit Flink.

Wenn ihr Unterstützung beim Design oder bei der Architektur benötigt, meldet euch gerne.

Gemeinsam bringen wir eure Pipeline von der ersten Idee bis in den produktiven Betrieb! 

Seminarempfehlungen