Wer suchet, der findet: Wie man effektiv in NiFi sucht
Hatice Sen
Data Management
Apache NiFi ist ein Open-Source-Datenintegrationstool mit einer intuitiven Benutzeroberfläche zum Entwerfen, Erstellen und Verwalten von Datenflüssen. Eine der Stärken von NiFi ist die browserbasierte Web-UI. Bei komplexen oder großen Datenflüssen kann es jedoch schwierig sein, den Überblick zu behalten. Hier kommt die leistungsstarke Suchfunktion ...
Weiterlesen
Geht nicht? Gibt’s nicht! Mein eigener Apache-NiFi-Prozessor
Janis Ax
Data Management
Apache NiFi ist ein leistungsstarkes Open-Source-Tool für die Datenintegration und -verarbeitung. Mit einer Vielzahl von vordefinierten Prozessoren und Integrationsmöglichkeiten bietet Apache NiFi eine flexible und benutzerfreundliche Plattform für die Entwicklung von Datenverarbeitungspipelines. Dennoch kann es vorkommen, dass die vorhandenen Proz...
Weiterlesen
Dataproc, eine skalierbare Hadoop-Distribution in der Google Cloud
Dominik Kramps
Big Data & AI
Dieser Artikel macht den Aufbau eines Dataproc Clusters in der GCP (Google Cloud Platform) verständlich und ermöglicht es dem Leser ein eigenes Dataproc Cluster in der GCP zu erstellen.  Was ist Dataproc? Dataproc bietet eine vollständig verwaltete Plattform zur Verarbeitung großer Datenmengen, die in der GCP gehostet wird und eine nahtlose In...
Weiterlesen
Password expired: Sensitive Werte aus Hashicorp Vault in NiFi synchronisieren
Philipp Srock
Data Management
Ab der NiFi Version 1.18.0 ist eine Anbindung externer Parameter Provider wie die Hashicorp Vault KV-Secret Engine als „Secret Store“ möglich. Damit können sensitive Informationen automatisch vom Vault (Englisch für Tresor) in NiFi synchronisiert werden. Dieses Feature ermöglicht eine verbesserte Zugangskontrolle der Datenbank, die von den NiFi-Pro...
Weiterlesen
ksqlDB, the superpower in the Kafka universe - Part 2
Muriel Djanko Kamdoum
News
KsqlDB is an event streaming database for building stream processing applications on top of Apache Kafka. In the previous article, ksqlDB was introduced and the benefits, and reasons for the existence of another solution within the Kafka universe to build stream processing applications were outlined. KsqlDB proposes a different approach to Kafka St...
Weiterlesen
ksqlDB, die Superkraft im Kafka Universum - Part 2
Muriel Djanko Kamdoum
Data Management
KsqlDB ist eine Event-Streaming-Datenbank zum Aufbau von Datenstromverarbeitungsanwendungen auf Apache Kafka. Im vorangegangenen Artikel wurde ksqlDB vorgestellt und die Vorteile sowie die Gründe für die Existenz einer weiteren Lösung zur Datenstromverarbeitung innerhalb des Kafka-Universums dargelegt. Im Vergleich zu Kafka Streams verfolgt ksqlDB ...
Weiterlesen