One key feature of Apache NiFi is scheduling. NiFi dataflows should cover streaming and batch use cases. But how can we connect both worlds together, and what settings are available? In this blog, we want to check the scheduling possibilities and show how to use them correctly. General scheduling options The dataflow engineer has in total two...
Nutzen Sie bereits Apache NiFi oder planen Sie es? Dann sollten Sie sich das zugehörige Subprojekt NiFi Registry anschauen! Mit der Apache NiFi Registry können Sie Ihre Dataflows schnell und einfach versionieren, sichern und exportieren. In diesem Blogbeitrag wollen wir auf die Besonderheiten der Registry, die allgemeine Vorgehensweise und natürlic...
Wie in jeder Programmiersprache ergibt es auch in Apache NiFi Sinn, einen Dataflow zu parametrisieren. Allerdings gibt es in NiFi zwei Möglichkeiten: Variablen und die relativ neuen Parameter. Was die Unterschiede und Vorteile sind und warum Parameter genutzt werden sollten, klären wir in diesem Blogartikel. Wie in jeder Programmiersprache und...
Jeder Prozessor in Apache NiFi verfügt über die beiden oben genannten Optionen, doch nur selten werden sie eingestellt oder überhaupt beachtet. Richtig konfiguriert und genutzt können beide jedoch sehr mächtig und hilfreich sein. In diesem Blogartikel wollen wir die beiden Optionen Penalization und Yielding genauer betrachten und ihr Verhalten an e...
Apache NiFi erfreut sich weiter steigender Beliebtheit. Vor allem Entwickler:innen schätzen die über den Browser erreichbare Web-UI. Dadurch lassen sich mit wenigen Klicks anspruchsvolle Flows erstellen, die Daten transformieren und transportieren können. Für NiFi Admins oder Operators kann die UI jedoch unbequem werden. Immer wiederkehrende Tätigk...
Sollen mehrere ähnliche oder sogar identische Systeme aufgesetzt werden, eignet sich häufig das Werkzeug Ansible zur Automatisierung – so auch bei PostgreSQL. Ansible selbst bietet bereits 20 integrierte Module, mit denen eine PostgreSQL-Datenbank administriert werden kann. Damit lassen sich beispielsweise User und Datenbanken m...