dbt – Qualitätssicherung im Datenumfeld: Teststrategien mit dem data build tool
Tobias Ummler
Data Management
Testen ist unerlässlich, um Vertrauen in die eigene Software zu schaffen und frühzeitig Probleme sowohl in der Datenqualität als auch in der Businesslogik zu erkennen. Was sich in der modernen Softwareentwicklung längst als Standard etabliert hat, ist im Umfeld von Data Warehouses und auch kleineren Datenanwendungen oft ein unbeliebtes Thema. Nicht...
Lesen
Moderne Datentransformation: von Stored Procedures zu dbt
Falk Halsband
Data Management
Viele Unternehmen setzen noch immer auf komplexe Stored Procedures zur Datentransformation, so auch in unserem Fall. In unserer Datenlösung haben wir im Rahmen eines Studienprojekts eine bestehende DWH-Beladung von Stored Procedures nach dbt migriert. Dieser Blogbeitrag beschreibt die Umsetzung der Migration, gibt eine Einführung in das Deployment ...
Lesen
Vom SQL-Chaos zur sauberen Modelllandschaft
Kwang-Il Son
Data Management
In modernen Datenplattformen entsteht Komplexität selten über Nacht. Sie wächst schleichend durch immer neue Anforderungen, zusätzliche Reports, kurzfristige Workarounds und SQL-Logik, die direkt an Tabellen geknüpft wird. Was zunächst funktioniert, entwickelt sich über die Zeit zu einer fragmentierten Transformationsebene, in der Abhängigkeiten ve...
Lesen
Mit dbt und Data Governance durchstarten. (M)Ein Erfahrungsbericht aus dem dualen Studium
Fabian Kratz
Data Management
Ich bin Fabian Kratz, dualer Student im Bereich Data Management bei der ORDIX AG. In meiner letzten Praxisphase setzte ich ein Projekt im Bereich Data Management um. Im Mittelpunkt standen dabei das Open-Source-Tool dbt (Data Build Tool) sowie die Prinzipien der Data Governance. Relativ schnell wurde mir klar, warum Data Governance eine zentrale Ro...
Lesen