Mit seiner benutzerfreundlichen Web-Oberfläche und den vielfältigen Möglichkeiten zur Datenintegration ist Apache NiFi ein „go-to-Tool“, wenn es um Datenverarbeitung und -übertragung geht. In diesem Blogbeitrag wollen wir unsere Erfahrungen im Aufbau eines Data Warehouse mit Apache NiFi teilen und einen Überblick darüber geben, was NiFi auf diesem ...

Als ETL-Werkzeug in der Azure Cloud bietet die Azure Data Factory v2 eine Reihe von Features, die klassischen ELT-Ansätzen fehlen, wie z. B. die Einbindung von weiteren Cloud-Diensten, die Flexibilität hinsichtlich der Ausführung auf eigener Hardware oder auf Azure Clustern oder die Einsicht in Metadaten zu den Ausführungen von Pipelines. Dass die ...

Bei einem Data Warehouse ist eine der wichtigsten Komponenten die Beladung, ein Prozess, in dem selbst kleine Fehler eine große Menge an Daten unbrauchbar machen können. Oft wird der Prozess über SQL-Skripte, oder andere ELT-Lösungen abgebildet, allerdings sind diese durch ihre Natur größtenteils auf Server-interne Aktionen beschränkt. ETL-Werkzeug...

Immer wieder kommt es bei PostgreSQL zu der Frage, wie lange denn eine Recovery dauert. Sei es beim Hochfahren einer Instanz nach einem System-Crash oder nach der Wiederherstellung des Clusters aus einer Sicherung. Wird beim Start diese Meldung ausgeben? pg_ctl: server did not start in time Wird bei der Anmeldung mit psql diese Meldung ausgegeben? ...

Meine Abfrage ist langsam - vielleicht hilft mir ein Index? Aber wie kann ich das testen, ohne zuerst aufwändig den Index anzulegen und dann den Ausführungsplan zu überprüfen? Bei PostgreSQL hilft die Erweiterung HypoPG mit ihren hypothetischen Indizes bei der Beantwortung dieser Frage. HypoPG ist eine Open-Source-Erweiterung für PostgreSQL, die es...

Makros sind in der Welt der Datenbankverwaltung und -interaktion ein leistungsstarkes Werkzeug. In PostgreSQL ermöglichen Makros in der psql-Umgebung die Automatisierung von wiederkehrenden Aufgaben, die Vereinfachung von Abfragen und die Steigerung der Effizienz bei der Interaktion mit der Datenbank. Dieser Artikel wird einen Einblick in die Verwe...