Wer suchet, der findet: Wie man effektiv in NiFi sucht

Apache NiFi ist ein Open-Source-Datenintegrationstool mit einer intuitiven Benutzeroberfläche zum Entwerfen, Erstellen und Verwalten von Datenflüssen. Eine der Stärken von NiFi ist die browserbasierte Web-UI. Bei komplexen oder großen Datenflüssen kann es jedoch schwierig sein, den Überblick zu behalten. Hier kommt die leistungsstarke Suchfunktion von NiFi ins Spiel. In diesem Artikel erklären wir, wie Sie die Suche am effektivsten nutzen können, um gezielt Komponenten zu finden.

Einführung in die NiFi-Suchfunktion

Die NiFi-Suche ist eine Funktion in der Benutzeroberfläche von NiFi, mit der Sie nach Prozessgruppen, Prozessoren, Connections und Controller Services suchen können. Sie können nicht nur nach Prozessor-Namen suchen, sondern auch alle Eigenschaften der Prozessoren in Ihrem Dataflow durchsuchen. Es lassen sich prinzipiell alle Komponenten, die in der UI vorhanden sind, durchsuchen. Diese Funktion wird immer dann hilfreich, wenn komplexere und größere Datenflüsse erstellt werden.

Oben rechts in der NiFi-Benutzeroberfläche finden Sie die Suchleiste. Wenn Sie etwas eingeben, wird eine komplette Suche durchgeführt. NiFi durchsucht dann alle Prozessgruppen, Prozessoren und deren Eigenschaften im Dataflow.

Wenn Sie beispielsweise nach dem Begriff „Time“ suchen, zeigt Ihnen NiFi alle Prozessoren und Connections, deren Namen „Time“ enthalten, aber auch alle Prozessoren mit der Scheduling-Strategie „Timer driven“ an. Sie sehen den Namen des Prozessors, in welcher Prozessorgruppe er sich befindet und seine Eigenschaften. Durch einen Klick auf das jeweilige Ergebnis springt man direkt zur Komponente. 

Durch einen Blick auf die Bildlaufleiste lässt sich erkennen, dass die Suchergebnisse etwas umfangreich geraten sind. Allerdings kann man diesem Umstand ganz einfach mithilfe von Filtern und Keywords entgegenwirken. 

Filtern und Kombinieren von Suchergebnissen

Wenn der Dataflow zu groß ist oder sich aufgrund der Suchkriterien zu viele Treffer ergeben, können Sie Filter verwenden, um die Ergebnisse zu verfeinern. Durch die Verwendung von Filtern können Sie auch unerwünschte Ergebnisse ausschließen.

Verwenden Sie „group:MeineProzessgruppe“, um Ihre Suche auf eine bestimmte Prozessgruppe einzugrenzen. Mit „scope:here“ können Sie die Suche auf die Prozessgruppe einschränken, in der Sie sich gerade befinden, sowie auf alle darunterliegenden Prozessgruppen.

Mithilfe von „properties“ können Sie unerwünschte Ergebnisse ausschließen. Beispielsweise können Sie mit „properties:exclude time“ alle Ergebnisse ausfiltern, deren Eigenschaften den Begriff „time“ enthalten.

Sie können Filter auch kombinieren. Beispielsweise können wir in der obigen Suche „scope:here properties:exclude time“ nutzen und filtern alle Ergebnisse weg, deren Eigenschaften den Begriff „time“ enthalten, wie z. B. „Transaction Timeout“. Dadurch finden wir Connections um einiges schneller:

Verwendung von Keywords in der NiFi-Suche

NiFi bietet auch Keywords, mit denen Sie nach Prozessoren, Prozessgruppen und Connections suchen können. Sie können nach Komponenten suchen, die derzeit deaktiviert (disabled), ungültig (invalid), laufend (running), angehalten (stopped) oder validierend (validating) sind. Sie können mit „event“ und „timer“ nach Prozessoren suchen, die eine bestimmte Scheduling-Strategie verfolgen, wie „Timer driven“ oder „Event driven“. Mit „primary“ finden Sie alle Prozessoren, die auf dem Primary Node laufen.

Sie können auch nach Connections suchen, die derzeit „back pressure“ aktiviert haben, also deren Queues derzeit voll sind, oder veraltete FlowFiles enthalten, indem Sie „back pressure“ oder „expiration“ verwenden.

Keywords können auch mit anderen Filtern kombiniert werden, um die Suche noch weiter zu verfeinern. Zum Beispiel können Sie mit „scope:here primary“ nach allen Prozessoren suchen, die sich in der aktuellen Prozessgruppe befinden und auf dem Primary Node laufen.

Weitere Filtermöglichkeiten, wie z. B. Keywords zum Suchen von Remote-Prozessgruppen, finden Sie in der offiziellen Dokumentation von NiFi.

Fazit

Die NiFi-Suchfunktion ist eine leistungsstarke und unterschätzte Funktion von Apache NiFi. Durch die Verwendung der Suchfunktion können Sie Zeit sparen, die Datenverwaltung verbessern und Ihre Daten-Workflows effizienter gestalten. Wenn Sie also das nächste Mal ein bestimmtes Datenelement in Ihrem Datenfluss finden müssen, probieren Sie unbedingt die NiFi-Suchfunktion aus! 

Seminarempfehlungen