Kurzen Prozess machen! Wie nehme ich neue Prozessoren in NiFi auf?
Patrick Münster
Data Management
In der Version 1.14.0 bietet NiFi standardmäßig 288 Prozessoren. Dadurch werden bereits viele Anwendungsfälle abgedeckt. Allerdings ist die umfangreiche Auswahl an Prozessoren trotzdem nicht für jeden Anwendungsfall ausreichend. Für diese Fälle bietet sich die Installation zusätzlicher Prozessoren an. Dabei stellen sich zwei wesentliche Fragen: Wo ...
Weiterlesen
Apache NiFi: Penalization vs. Yielding
Janis Ax
Data Management
Jeder Prozessor in Apache NiFi verfügt über die beiden oben genannten Optionen, doch nur selten werden sie eingestellt oder überhaupt beachtet. Richtig konfiguriert und genutzt können beide jedoch sehr mächtig und hilfreich sein. In diesem Blogartikel wollen wir die beiden Optionen Penalization und Yielding genauer betrachten und ihr Verhalten an e...
Weiterlesen
Automatisierung von NiFi mithilfe der CLI
Amal Samraoui
Data Management
Apache NiFi ist durch seine einfache Art und Weise, Daten zwischen Systemen zu transportieren, bekannt und gewinnt immer mehr an Beliebtheit. Dank der webbasierten Benutzeroberfläche wird dem User mit ein paar Klicks und einfachem Drag-and-Drop die Erstellung von NiFi-Flows ermöglicht. Doch gibt es eine Alternative zum altbewährten User-Interface u...
Weiterlesen
Apache NiFi: Zurück zum Code? Was kann die nipyapi?
Janis Ax
Big Data & AI
Apache NiFi erfreut sich weiter steigender Beliebtheit. Vor allem Entwickler:innen schätzen die über den Browser erreichbare Web-UI. Dadurch lassen sich mit wenigen Klicks anspruchsvolle Flows erstellen, die Daten transformieren und transportieren können. Für NiFi Admins oder Operators kann die UI jedoch unbequem werden. Immer wiederkehrende Tätigk...
Weiterlesen
Talend, NiFi, Spark & Pandas als Data- Engineering-Tools? - Datapreprocessing von Wetterdaten
ORDIX AG
Karriere
In meinem letzten Blogartikel habe ich die Data Science Pipeline (DSP) und insbesondere den Bereich des Data Engineerings anhand meines Praxisprojekts "Evaluierung & Dokumentation der Data Science Pipeline (mit Fokus auf den Data Engineering Kreislauf)" vorgestellt. Dabei lag der Fokus vor allem auf den verschiedenen Arbeitsschritten des Data E...
Weiterlesen
Apache NiFi Grundlagen: Kostenloses Webinar am 3. Februar 2021
ORDIX® seminare
Training
Kurz und knackig: Am 3. Februar 2021 geben wir Ihnen eine kostenlose Zwei-Stunden-Einführung in das Thema Apache NiFi. Während des Webinars bieten wir Ihnen einen Einblick in die internen Komponenten von Apache NiFi und Sie lernen die Oberfläche kennen. Dabei stellen wir Ihnen die wichtigsten Prozessoren vor und werden mit diesen einige Dataflows a...
Weiterlesen