Talend, NiFi, Spark & Pandas als Data- Engineering-Tools? - Datapreprocessing von Wetterdaten
ORDIX AG
Karriere
In meinem letzten Blogartikel habe ich die Data Science Pipeline (DSP) und insbesondere den Bereich des Data Engineerings anhand meines Praxisprojekts "Evaluierung & Dokumentation der Data Science Pipeline (mit Fokus auf den Data Engineering Kreislauf)" vorgestellt. Dabei lag der Fokus vor allem auf den verschiedenen Arbeitsschritten des Data E...
Weiterlesen
Jobstart und Onboarding eines Projektmanagers in Zeiten von Corona
ORDIX AG
Project Management
Ein strukturierter Onboarding-Prozess ist auch in Corona-Zeiten wichtig, um neue Mitarbeiter:innen schnellstmöglich in die Firma, das Team und gegebenenfalls das zugeteilte Projekt zu integrieren und somit von Anfang an ein Gefühl des Wohlseins zu erzeugen und einen effizienten Start in die Arbeit zu gewährleisten. Doch während die Annäherung an da...
Weiterlesen
Projektstart online – Eine Erfolgsgeschichte
ORDIX AG
Project Management
Dieser Blogartikel beantwortet die Frage, wie bei verteilten Teams auch online erfolgreich ein Teambuilding und der Projektstart gelingen kann. Die Erfolgsgeschichte aus der Praxis beschreibt die flexible Adaption von Kollaboration, Workshops und Weiterbildungen auf das Onlineformat. Im Projekt in großen Organisationen stehe ich als Projektleiter h...
Weiterlesen
Experimente mit dem Backup und Restore von Apache Kudu
ORDIX AG
Data Management
In der ORDIX news wurde bereits die Apache Kudu Datenbank vorgestellt. Im Juli 2019 wurde dann die Version 1.10.0 der Kudu Datenbank veröffentlicht. Über die Neuerungen berichtete Olaf Hein in einem ORDIX blog Beitrag. In diesem Beitrag wird die in der Version 1.10.0 implementierte Backup-Funktionalität sowie die Möglichkeit zur Analyse der Backups...
Weiterlesen
Machine Learning…aber sicher!?
ORDIX AG
Machine Learning
Viele unterschiedliche Branchen nutzen die Vorzüge von Data Science und die Möglichkeit, künstliche Intelligenz einzusetzen. Das bekannteste Beispiel sind dabei vermutlich die Produktempfehlungen auf den Plattformen von Online-Versandhändlern. Dort wird künstliche Intelligenz auch zur Bilderkennung bei Retouren, für Größenempfehlungen oder für die ...
Weiterlesen
Über einen weniger bekannten Weg, die Qualität von ETL-Prozessen zu erhöhen
ORDIX AG
Data Management
Qualitätssicherungsmaßnahmen Testen ist ein wesentlicher Aspekt des Lebenszyklus eines jeden Softwareproduktes. Klassischerweise wird die Qualität von Software durch Software- und Integrationstests überprüft. Im Umfeld des Data Warehouse sind häufig Entwicklertests, Fachtests und Abnahmetests vorzufinden. In der Anwendungsentwicklung, z.B. im Java-...
Weiterlesen