Die NiFi Registry, als Sub-Projekt von Apache NiFi, eignet sich hervorragend, um Dataflows zu versionieren. Änderungen in Dataflows lassen sich nachvollziehen und es gibt eine Commit-Historie mit entsprechenden Commit-Nachrichten. Aus diesen und weiteren Gründen haben wir uns bereits in einem vorherigen Blogartikel für die Registry ausgesprochen. D...
Sie habe bestimmt schon von Graphdatenbanken gehört. Graphdatenbanken sind seit Jahren im Gespräch. Gartner listete 2019 Graph Analytics als Trend Nr. 4 der zehn wichtigsten Technologie Trends im Bereich „Data and Analytics" und auch 2021 sind Graphen unter den Top 10 (Gartner Top Data and Analytics Trends for 2021). Was sind Graphdatenbanken? Grap...
Nutzen Sie Apache NiFi noch in Ihrer Hortonworks Dataflow (HDF) Umgebung? Dann ist es höchste Zeit, eine Migration zur neueren Cloudera Dataplatform (CDP) in Betracht zu ziehen. In diesem Blogartikel werde ich die wichtigsten Änderungen zwischen der letzten Apache NiFi-Version auf einer HDF-Umgebung (1.12) und der aktuellen Apache NiFi-Version (1.1...
Is there more to Kafka than the usual producer and consumer API? In a previous article, this question was raised to introduce alternative solutions offered by Kafka for designing and building stream processing applications. Streams (Kafka Streams API) rich library was presented as such an alternative to the known producer and consumer. Why the...
Bietet Kafka mehr als nur die Producer und Consumer API? In dem Artikel „Harnessing the Power of Kafka“ wurde mit Kafka Streams eine Möglichkeit zur Datenstromprozessierung mit Kafka vorgestellt. Die Streams API bietet einfache Filter sowie komplexere Operatoren wie Joins oder Aggregations, die zustandsloses und zustandsbehaftetes Prozessieren...
Die Nutzung von externen Authentifizierungsdiensten wie z. B. LDAP ist ein bewährtes und gängiges Verfahren in der Praxis. Dadurch kann der Login-Prozess nach außen verlagert werden und die Verwaltung der entsprechenden Nutzerdaten (z. B. Passwörter) kann damit zentralisiert und für alle Beteiligten optimiert werden. Wie dies im Zusammenhang mit Ap...