Von Matthias Jung auf Mittwoch, 18. November 2026
Kategorie: Data Management

MySQL 9.7 LTS in der Praxis #03: Wenn ein Knoten hängt, wie heilt sich Group Replication in 9.7 selbst?

Alle Beispiele basieren auf der Beispieldatenbank Sakila und sind mit MySQL 9.7.2 Community getestet, dem zum Testzeitpunkt aktuellen offiziellen Container-Image. Für den Betrieb empfehle ich den neuesten Patchstand, derzeit 9.7.4. Enterprise-Funktionen sind nicht Teil der Serie. 

Die Laborskripte für Teil 3 für Podman findet ihr hier: 

Ein Secondary hängt und keiner merkt es rechtzeitig. Zuerst wächst die Warteschlange, dann drosselt Flow Control den Primary und am Ende wundert sich die Anwendung über langsame Commits. In MySQL 9.7 stehen vier Komponenten in der Community Edition bereit, die diese Situation sichtbar machen und zum Teil selbst eingreifen. Ich habe das in einem Drei-Knoten-Cluster mit Sakila nachgestellt und einen Secondary gezielt ausgebremst. 

Vier Komponenten im Überblick

Die vier Komponenten waren bisher der Enterprise Edition vorbehalten. Zwei davon liefern Diagnosedaten, zwei greifen in den Betrieb ein.

Alle vier Komponenten werden per INSTALL COMPONENT eingerichtet und zwar auf jedem Mitglied. Dabei bin ich im Labor über einen ersten Stolperstein gefallen. Auf einem Secondary, der bereits in der Gruppe ist, scheitert die Installation an super_read_only, weil INSTALL COMPONENT in mysql.component schreibt.

Ich installiere die Komponenten deshalb vor START GROUP_REPLICATION und ohne Binlog-Eintrag. 

Das Laborszenario

Drei Container gr1 bis gr3 laufen mit MySQL 9.7.2 im Single-Primary-Modus, gr1 ist Primary, Sakila ist geladen. Auf gr3 halte ich den Applier mit FLUSH TABLES WITH READ LOCK für 180 Sekunden an. Währenddessen schreibt gr1 2.000 Transaktionen mit je zehn Zeilen in sakila.payment. Das Labor ist eine Wegwerfumgebung, Original-Sakila wird dabei verändert.

Damit im Labor überhaupt etwas passiert, habe ich die Schwellwerte drastisch gesenkt. Die Defaults liegen bei 3.600 Sekunden für den Lag und Quarantäne. Flow Control greift standardmäßig erst ab 25.000 Transaktionen in der Warteschlange. Diese Laborwerte gehören auf keinen Fall in die Produktion.

Alle zehn Sekunden habe ich die Statusvariablen auf gr1 und gr3 sowie die Warteschlangen aus replication_group_member_stats abgefragt. 

Flow Control wird messbar

Bei der zweiten Messung, gut zehn Sekunden nach Start der Last, hatte Flow Control bereits fünfmal gedrosselt. 

Die Summe von 2.010.043 Mikrosekunden bedeutet rund zwei Sekunden Drosselung. Danach stieg der Zähler nicht weiter, weil die Last bereits vollständig an die Gruppe übergeben war. Auf gr3 standen zu diesem Zeitpunkt 2.000 Transaktionen in der Applier-Warteschlange. Bisher hätte man diese Drosselung nur indirekt an langsameren Commits erkannt. Mit den neuen Zählern lässt sie sich direkt messen und überwachen. Die Werte gelten pro Mitglied und werden unter anderem bei einem Neustart oder einem erneuten Beitritt zurückgesetzt. Wer Trends sehen will, muss sie deshalb extern speichern. 

Der Resource Manager greift ein

Der Resource Manager prüft auf den Secondaries alle fünf Sekunden den Lag. Ein Ausschluss erfolgt laut Doku erst, wenn der Schwellwert zehnmal in Folge überschritten ist. Die Messreihe auf gr3 passt dazu, denn der Zähler der Überschreitungen stieg um zwei pro zehn Sekunden. 

Spannend ist die Lücke zwischen 07:31:59 und 07:32:41. Nach elf Überschreitungen hätte gr3 die Gruppe verlassen müssen, stattdessen schrieb er eine Warnung ins Error Log. 

Die Quarantäne schützt also nicht nur einen Knoten, der nach einem Ausschluss wieder beigetreten ist, sondern auch einen, der gerade zum ersten Mal beigetreten ist. Die Doku beschreibt die Quarantäne nur für den Rejoin. Im Labor galt sie auch nach dem ersten Beitritt. Mit dem Default von 3.600 Sekunden heißt das in der Praxis, dass ein frisch gestarteter oder neu hinzugefügter Knoten eine Stunde lang nicht ausgeschlossen wird.

Nach Ablauf der Quarantäne ging es schnell. Um 07:32:42 verließ gr3 die Gruppe und startete sofort den Auto-Rejoin, der nach dem Ende der Sperre gelang.

Der Rejoin hängt an group_replication_autorejoin_tries, in 9.7 standardmäßig 3. Ist der Wert 0, greift group_replication_exit_state_action, im Labor OFFLINE_MODE. 

Worauf wartet der Applier?​

Nach dem Rejoin zeigt die neue Tabelle replication_applier_metrics, wie der Applier auf gr3 die aufgestaute Arbeit abgearbeitet hat. Die Komponente liefert nur mit Multi-Threaded Applier Daten, im Labor lief replica_parallel_workers mit dem Wert 4. 

Von 2.052 Transaktionen mussten 2.034 auf eine Abhängigkeit warten, bevor sie einem Worker übergeben wurden. Vier Worker standen also bereit, konnten aber kaum parallel arbeiten. Eine naheliegende Erklärung liefert die Last selbst. Alle Zeilen verweisen auf staff_id 1 und die Writesets enthalten auch die Schlüssel referenzierter Parent-Zeilen. Gegengetestet habe ich diese Vermutung nicht. Genau diese Art von Befund war bisher nur mit Aufwand zu gewinnen. Wer mehr Worker konfiguriert, ohne die Abhängigkeiten zu kennen, gewinnt nichts. 

Beim Failover soll der aktuellste Knoten Primary werden​

Bisher entschied Group Replication beim Failover nach Version, Gewicht und schließlich der niedrigsten UUID. Die Komponente elect_prefers_most_updated stellt die Aktualität an die erste Stelle. Gewählt wird der Secondary mit dem kleinsten Rückstand, erst bei Gleichstand gelten Gewicht und UUID. Das funktioniert nur im Single-Primary-Modus und nur, wenn die Komponente auf allen Mitgliedern installiert und aktiviert ist.

Im Labor habe ich gr1 mit podman kill hart gestoppt. Neuer Primary wurde gr2, die Statusvariablen dort zeigen das Ergebnis.

Die Logmeldung erklärt, wie es dazu kam. 

Beide Secondaries waren gleich aktuell, also entschieden Gewicht und UUID. Das ist kein spektakuläres Ergebnis, aber ein ehrliches. Obwohl ich gr2 vor dem Failover kurz blockiert hatte, gab es aus Sicht der Komponente keinen Rückstand. Die Doku spricht vom Backlog des Secondary, ohne zu sagen, ob empfangene oder angewandte Transaktionen zählen. Diese Frage hat mein Labor nicht abschließend geklärt. Wer sich auf die Wahl nach Aktualität verlassen will, sollte das mit der eigenen Last testen und die beiden Statusvariablen nach jedem Failover auswerten. 

Fallstricke​

Der Resource Manager überwacht den Primary nicht. Laut Doku kann es im Grenzfall passieren, dass ein Secondary ausgeschlossen wird, während er gerade zum neuen Primary gewählt wird. Auto-Eviction setzt außerdem mindestens drei Mitglieder voraus. Bei zu engen Schwellwerten droht ein Dominoeffekt, wenn mehrere Secondaries unter derselben Last gleichzeitig zurückfallen. Wer von 8.4 kommt, sollte zudem die neuen Defaults im Blick behalten, denn group_replication_ssl_mode steht in 9.7 auf REQUIRED. Schließlich behebt 9.7.4 einen Fehler, bei dem eine Gruppe nach einer Netzwerkpartition das Quorum verlieren und in einer Reconnect-Schleife hängen konnte, die Schreibzugriffe blockierte. 

Empfehlungen​

  1. Installiert die Komponenten vor dem Beitritt eines Knotens zur Gruppe, auf allen Mitgliedern.
  2. Führt Flow-Control-Statistik und Applier-Metriken zuerst ein und speichert die Werte extern. Beide liefern sofort Nutzen, ohne in den Betrieb einzugreifen.
  3. Aktiviert den Ausschluss erst danach, mit Schwellwerten, die ihr aus der eigenen Messreihe ableitet. Berücksichtigt dabei die Quarantäne nach jedem Beitritt.
  4. Nutzt die Wahl nach Aktualität, wenn Datenverlust beim Failover das größere Risiko ist und prüft nach jedem Failover die Statusvariablen.

Fazit

Die vier Komponenten machen Group Replication in der Community Edition deutlich transparenter. Flow Control und Applier-Wartezeiten sind jetzt direkt messbar. Der Resource Manager hat im Labor einen hängenden Knoten zuverlässig ausgeschlossen und wieder aufgenommen. Die Quarantäne nach dem Beitritt solltet ihr kennen, bevor ihr euch auf die Selbstheilung verlasst. Ein durchdachtes Monitoring ersetzen die Komponenten nicht, sie liefern ihm aber endlich die richtigen Daten.

Wie geht ihr heute mit hängenden Secondaries um? Ich bin gespannt auf eure Erfahrungen. In Teil 4 nehme ich den Hypergraph Optimizer unter die Lupe. Wer die Themen der Serie vertiefen möchte, findet sie auch im ORDIX-Seminar „MySQL Administration", in dem ich als Referent die Neuerungen der aktuellen LTS-Version behandle.

Quellen

Seminarempfehlung

Verwandte Beiträge

Kommentare hinterlassen