Spark Checkpoints mit Google Cloud Storage: Schluss mit Ineffizienz!

Apache Spark ist eines der leistungsfähigsten Frameworks für die Verarbeitung großer Datenmengen. Ob Batch-Analysen oder kontinuierliche Datenströme aus Kafka, Spark sorgt dafür, dass große Mengen von Datensätzen effizient verarbeitet werden können.

Doch was passiert, wenn ein Streaming-Job plötzlich stoppt? Beginnt dann alles von vorne? Sind dann Stunden oder sogar Tage an Berechnungen verloren?

Genau für solche Situationen gibt es die Spark Checkpoints.

Was ist Spark?

Stellen wir uns vor, wir organisieren einen großen Umzug. Eine komplette Wohnung soll ausgeräumt, sortiert und in Kisten verpackt werden.

Bei einem Umzug wäre es ineffizient, nach jedem einzelnen Gegenstand zur Haustür zu laufen, die Kiste abzustellen und dann wieder zurückzugehen. Das ist jedoch die Methode von vielen traditionellen Systemen. Sie legen jeden Zwischenschritt erst umständlich auf die Festplatte ab, nur um die Daten für die nächste Aufgabe direkt wieder mühsam einlesen zu müssen.

Apache Spark verfolgt einen anderen Ansatz. Statt jeden Zwischenschritt auf die Festplatte auszulagern, behält Spark die Daten während der Verarbeitung griffbereit im Arbeitsspeicher. In unserem Beispiel ist das, als würden wir alle Kisten im Raum packen und erst am Ende zur Haustür hinaustragen. Das ist deutlich schneller und effizienter als die erste Methode.

Ein Spark Cluster funktioniert wie ein perfekt organisiertes Umzugsteam:

Der Driver ist dabei die Umzugsleitung. Er behält den Überblick, plant den Ablauf und verteilt die Aufgaben.

Die Executors sind die Helfer:innen, die die eigentliche Arbeit erledigen. Sie können sich auf verschiedene Räume verteilen und somit parallel arbeiten. Diese Parallelität macht Spark so leistungsfähig und sorgt dafür, dass große Datenmengen innerhalb kürzester Zeit verarbeitet werden können.

Checkpoints gegen Datenverlust

Stellen wir uns vor, unser Umzug läuft auf Hochtouren. Die Küche ist bereits leer, das Badezimmer wurde gerade fertig verpackt und die Kisten liegen alle bereit im Transporter. Plötzlich passiert das Unmögliche: Ein Riss im Raum-Zeit-Kontinuum. Auf einmal steht alles wieder an seinem ursprünglichen Platz. Die gesamte bereits geleistete Arbeit wäre verloren und wir müssten von vorne beginnen.

Genau so kann es auch bei Spark passieren, wenn ein Streaming-Job unerwartet stoppt. Ohne zusätzliche Sicherungspunkte beginnt alles wieder von vorne. Stunden an Rechenleistung wären somit verschwendet.

Die Lösung all unserer Probleme? Checkpoints.

Checkpoints sind wie ein sicheres Zwischenlager bei unserem Umzug. Wir stellen die gepackten Kisten in diesen sicheren Raum ab. Wenn wieder etwas schiefgeht, muss der ganze Prozess nicht wieder von vorne beginnen, sondern die bereits gepackten Kisten im Raum bleiben uns erhalten.

In Spark funktioniert das ähnlich. Bei jedem Checkpoint speichert Spark den aktuellen Zustand des Streaming-Jobs auf einem stabilen Speicher, in unserem Fall im Google Cloud Storage. Diese Sicherung enthält alle wichtigen Informationen, um den Prozess exakt wiederherzustellen:

• metadata – eine zentrale Datei, die den aktuellen Status des Jobs anzeigt
• commits – dieses Verzeichnis dokumentiert, welche Verarbeitungsschritte bereits erfolgreich abgeschlossen wurden
• offsets – hier wird für jede Datenquelle wie Kafka gespeichert, bis zu welcher Stelle Daten verarbeitet wurden
• sources – enthält Zustandsdaten, die für eine korrekte Fortsetzung des Jobs notwendig sind

Zusammen bilden diese Elemente einen „Zwischenstand“ des Umzugs oder in unserem Fall des Datenstroms. Fällt der Prozess aus, startet Spark nicht bei null, sondern genau dort, wo der letzte Checkpoint liegt. Das spart Zeit, Ressourcen und sorgt für Stabilität.

Umsetzung in der Google Cloud

Nachdem wir verstanden haben, warum Checkpoints so wichtig sind, schauen wir uns an, wie sie in der Praxis umgesetzt werden. Konkret mit Apache Spark und dem Google Cloud Storage.

Eine ausführliche Anleitung zum Aufsetzen eines Spark Clusters steht unter diesem Link bereit.

Stellen wir uns vor, wir haben beim Umzug ein sicheres Zwischenlager eingerichtet. Damit es funktioniert, müssen wir drei Dinge klären:

Wo stellen wir die Kisten ab?

Wer hat den Schlüssel zum Lager?

Wie finden wir die Kisten später wieder?

1. Den Speicherort festlegen

Spark muss wissen, wohin die Checkpoints geschrieben werden. In der PySpark-Pipeline genügt dafür eine zusätzliche Option:

.option("checkpointLocation", "gs://ordix-backup/spark-checkpoints/kafka-to-mysql")

Damit sagen wir Spark: „Lege deine Zwischenstände im GCS-Bucket ordix-backup ab.“

2. Zugriff auf das Lager ermöglichen

Damit Spark auf den GCS-Bucket zugreifen kann braucht es einen Schlüssel. In der Cloud ist das ein Service Account Key. Dieser Schlüssel wird als Secret in den Spark Container eingegeben. Spark authentifiziert sich damit gegenüber GCS und erhält die Berechtigung, Daten zu lesen und zu schreiben. 

3. Orientierung im Lager schaffen

Damit Spark die Checkpoints später wiederfindet, müssen wir ihm die Projekt-ID und die Bucket-Informationen mitteilen. Diese Angaben werden in der Spark YAML hinterlegt. Außerdem aktivieren wir den passenden Filesystem-Treiber, damit Spark Pfade mit dem Schema gs:// versteht.

Mit diesen drei Schritten haben wir unser „Zwischenlager“ eingerichtet. Spark kann nun Checkpoints zuverlässig in GCS speichern. Bei einem Neustart liest Spark automatisch den letzten gesicherten Zustand aus und setzt die Verarbeitung genau dort fort, wo sie unterbrochen wurde.

Fazit

Mit der richtigen Konfiguration von Spark und dem Google Cloud Storage schaffen wir eine robuste Lösung für ein zentrales Problem in der Datenverarbeitung: Was passiert, wenn ein Streaming-Job unerwartet stoppt?

Dank Checkpoints muss Spark nicht bei null beginnen. Stattdessen sichert es den aktuellen Zustand zuverlässig in GCS und kann bei einem Neustart genau dort weitermachen, wo der Prozess unterbrochen wurde. Damit wird Spark nicht nur schneller, sondern auch wirtschaftlicher und verlässlicher, ein entscheidender Vorteil für produktive Datenpipelines.

Habt ihr Fragen zu Spark, Datenverarbeitung oder Cloud-Lösungen? Kontaktiert uns! Wir helfen gerne bei der Umsetzung eurer Projekte.

Ihr möchtet euer Wissen vertiefen? In unserem Seminarbereich findet ihr zahlreiche Trainings, unter anderem zu Apache Spark: Apache Spark Grundlagen (3 Tage)

Seminarempfehlung