One key feature of Apache NiFi is scheduling. NiFi dataflows should cover streaming and batch use cases. But how can we connect both worlds together, and what settings are available? In this blog, we want to check the scheduling possibilities and show how to use them correctly. General scheduling options The dataflow engineer has in total two...
Datenquellen wachsen und vermehren sich ständig, egal ob im Internet oder im eigenen Unternehmen. Daten fallen an verschiedenen Stellen und in verschiedenen Formaten an. Um diese Daten sinnvoll zu nutzen, müssen sie oftmals an zentralen Stellen (z.B. in Data Warehouses) zusammengeführt werden.Doch wie führt man die Daten aus vielen verschiedenen Da...
Nutzen Sie bereits Apache NiFi oder planen Sie es? Dann sollten Sie sich das zugehörige Subprojekt NiFi Registry anschauen! Mit der Apache NiFi Registry können Sie Ihre Dataflows schnell und einfach versionieren, sichern und exportieren. In diesem Blogbeitrag wollen wir auf die Besonderheiten der Registry, die allgemeine Vorgehensweise und natürlic...
Wie in jeder Programmiersprache ergibt es auch in Apache NiFi Sinn, einen Dataflow zu parametrisieren. Allerdings gibt es in NiFi zwei Möglichkeiten: Variablen und die relativ neuen Parameter. Was die Unterschiede und Vorteile sind und warum Parameter genutzt werden sollten, klären wir in diesem Blogartikel. Wie in jeder Programmiersprache und...
In der Version 1.14.0 bietet NiFi standardmäßig 288 Prozessoren. Dadurch werden bereits viele Anwendungsfälle abgedeckt. Allerdings ist die umfangreiche Auswahl an Prozessoren trotzdem nicht für jeden Anwendungsfall ausreichend. Für diese Fälle bietet sich die Installation zusätzlicher Prozessoren an. Dabei stellen sich zwei wesentliche Fragen: Wo ...
Jeder Prozessor in Apache NiFi verfügt über die beiden oben genannten Optionen, doch nur selten werden sie eingestellt oder überhaupt beachtet. Richtig konfiguriert und genutzt können beide jedoch sehr mächtig und hilfreich sein. In diesem Blogartikel wollen wir die beiden Optionen Penalization und Yielding genauer betrachten und ihr Verhalten an e...