2 Minuten Lesezeit (448 Worte)

Kurzen Prozess machen! Wie nehme ich neue Prozessoren in NiFi auf?

Mittwoch, 26. Januar 2022

In der Version 1.14.0 bietet NiFi standardmäßig 288 Prozessoren. Dadurch werden bereits viele Anwendungsfälle abgedeckt. Allerdings ist die umfangreiche Auswahl an Prozessoren trotzdem nicht für jeden Anwendungsfall ausreichend. Für diese Fälle bietet sich die Installation zusätzlicher Prozessoren an. Dabei stellen sich zwei wesentliche Fragen:

Wo sind weitere Prozessoren abrufbar?
Wie können weitere Prozessoren installiert werden?

Dieser Blogartikel beantwortet diese Fragen.

Woher nehmen und nicht stehlen? Download neuer Prozessoren

NiFi Prozessoren sind immer in einem Bundle verfügbar. Diese Bundles werden in NiFi Archive Dateien, sogenannten NARs verpackt. Beispielsweise gibt es ein HDFS-Bundle, das alle Prozessoren und Controller-Services für die Arbeit mit dem HDFS enthält. Nach verfügbaren Prozessoren kann auf https://mvnrepository.com gesucht werden.

Nach einem Klick auf dieses Bundle kann die verwendete NiFi-Version ausgewählt werden.

Darauf folgt unter dem Menüpunkt „Files" der Downloadlink zur benötigten nar-Datei.

Eine neue Prozessordnung – Die Inbetriebnahme neuer Prozessoren

Um die Unterscheidung zwischen standardmäßigen und zusätzlichen Prozessoren zu gewährleisten, sollten die benötigten nar-Dateien in einem eigenen Verzeichnis abgelegt werden. Ein weiterer Vorteil ist, dass das Verzeichnis nicht von NiFi-Updates betroffen ist. Damit NiFi die Prozessoren, die innerhalb dieses Verzeichnisses liegen, verwenden kann, muss zusätzlich eine Änderung in der Datei nifi.properties erfolgen. Die Property nifi.nar.library.directory legt fest, an welchem Ort die nar-Dateien der Standard-Prozessoren liegen. Zur Einbindung eines weiteren Verzeichnisses wird nun eine neue Property nifi.nar.library.directory.[beliebiger Name] erstellt und der Pfad zu dem Verzeichnis, in welchem sich die neuen nar-Dateien befinden festgelegt. In der Abbildung sind Beispieländerungen an der Datei nifi.properties zu sehen.

Der einfachste Installationsweg besteht lediglich aus einem Befehl:

curl [Downloadlink] > [Pfad zum erstellten lib-Verzeichnis]/[Dateiname der heruntergeladenen Datei]

Es folgt ein Beispiel für die nar-Datei für Flume:

curl https://repo1.maven.org/maven2/org/apache/nifi/nifi-flume-nar/1.15.0/nifi-flume-nar-1.15.0.nar > ./nifi/lib/lib_processors/ nifi-flume-nar-1.15.0.nar

Alternativ kann die Datei auch über den Browser heruntergeladen und manuell in das eigens erstellte lib-Verzeichnis verschoben werden.

Nach Abschluss dieses Vorgangs und einem Neustart von NiFi können die neuen Prozessoren in Dataflows verwendet werden.

Fazit

Das Hinzufügen zusätzlicher Prozessoren ist ein verhältnismäßig einfacher und kurzer Prozess. Er ermöglicht viele neue Anwendungsmöglichkeiten von Apache NiFi und zeigt einmal mehr die Vorteile eines Open-Source-Projekts. Durch die Versionsauswahl für einen Prozessor ist es bei Bedarf außerdem möglich, eine bestimmte Version eines Prozessors zu installieren. Für weitere Informationen zu Apache NiFi können Sie gerne das Apache-NiFi-Webinar oder unser Seminar besuchen oder uns direkt kontaktieren

{loadmoduleid 179}

Haben Sie weiteres Interesse oder Fragen rund um NiFi, könnte unser mehrtätiges Seminar oder auch schon unser zweistündiges Webinar für Sie interessant sein.

Apache Nifi Grundlagen Seminar Apache Nifi Grundlagen Webinar