Let’s plan it – Scheduling in Apache NiFi
Janis Ax
Data Management
One key feature of Apache NiFi is scheduling. NiFi dataflows should cover streaming and batch use cases. But how can we connect both worlds together, and what settings are available? In this blog, we want to check the scheduling possibilities and show how to use them correctly. General scheduling options  The dataflow engineer has in total two...
Weiterlesen
Joins über mehrere Datenbanksysteme - Was kann Apache NiFis LookUp-Prozessor?
Lukas Rosenfeld
Data Management
Datenquellen wachsen und vermehren sich ständig, egal ob im Internet oder im eigenen Unternehmen. Daten fallen an verschiedenen Stellen und in verschiedenen Formaten an. Um diese Daten sinnvoll zu nutzen, müssen sie oftmals an zentralen Stellen (z.B. in Data Warehouses) zusammengeführt werden.Doch wie führt man die Daten aus vielen verschiedenen Da...
Weiterlesen
Let's commit! Dataflows versionieren mit der NiFi Registry
Janis Ax
Data Management
Nutzen Sie bereits Apache NiFi oder planen Sie es? Dann sollten Sie sich das zugehörige Subprojekt NiFi Registry anschauen! Mit der Apache NiFi Registry können Sie Ihre Dataflows schnell und einfach versionieren, sichern und exportieren. In diesem Blogbeitrag wollen wir auf die Besonderheiten der Registry, die allgemeine Vorgehensweise und natürlic...
Weiterlesen
Pandas Profiler statt Excel für die Ermittlung des Data-Value
Felix Uellendahl
Data Management
In den Daten so mancher Firma stecke ein größerer Wert, so liest man es immer wieder. Aber wie kann dieser Wert ermittelt werden? Ausgangspunkt sollte hier eine fundierte Betrachtung der Datenbestände sein. Mit der Open-Source Bibliothek „Pandas Profiling" können verfügbare Daten in Tabellenformat, einer effizienten Analyse unterzogen werden. Dies ...
Weiterlesen
Variablen? Parameter? Was denn nun? Wie ein Dataflow in Apache NiFi parametrisiert wird
Janis Ax
Data Management
Wie in jeder Programmiersprache ergibt es auch in Apache NiFi Sinn, einen Dataflow zu parametrisieren. Allerdings gibt es in NiFi zwei Möglichkeiten: Variablen und die relativ neuen Parameter. Was die Unterschiede und Vorteile sind und warum Parameter genutzt werden sollten, klären wir in diesem Blogartikel. Wie in jeder Programmiersprache und...
Weiterlesen
Wettbewerb GermEval 2021 – "ein schöner VW Golf Diesel"
Tobias Bornheim
Big Data & AI
Bei der Verarbeitung natürlicher Sprache stellt sich immer deutlicher heraus, dass sprachspezifische Lösungen den sprachunspezifischen Lösungen überlegen sind. Der jährlich stattfindende GermEval-Wettbewerb hat daher das Ziel, die Forschung in Richtung der Verarbeitung der deutschen Sprache voranzutreiben. Dabei werden die Aufgabenstellungen an akt...
Weiterlesen