ETL

Die Datenquellen in Unternehmen können sehr unterschiedlich sein. Um die Daten geordnet in ein Data Warehouse einzuspielen, müssen für jedes Unternehmen individuelle Voraussetzungen geschaffen werden. Wir geben hier einen kurzen Überblick über „IBM DataStage" und stellen unsere Beratungsleistung in Verbindung mit dem IBM-Produkt vor.

Die Abkürzung ETL setzt sich zusammen aus dem jeweils ersten Buchstaben der drei Komponenten eines Datenbeschaffungsprozesses:

Extract – Relevante Daten aus verschiedenen Quellen extrahieren.

Transform – Daten verarbeiten, Anpassung an das Zielsystem (Datenbank)

Load – Einspielung der Daten in das Zielsystem (Datenbank).

Ein ETL-Prozess kommt immer dann zum Einsatz, wenn Daten aus einem oder mehreren operativen Systemen konsolidiert und in ein Data Warehose eingespielt werden müssen. Damit soll einer redundanten Datenhaltung beim Import der Daten vorgebeugt und die Verwendung der Daten zu beispielsweise Auswertungszwecken vereinfacht werden.

Vorwiegend wird ein ETL-Prozess zu einem lastenarmen Zeitpunkt angestoßen oder sobald die Daten im Quellsystem konsistent vorliegen (zum Beispiel nach einem Tagesabschluss). Der Prozess muss aber innerhalb eines bestimmten Zeitfensters beendet sein. Diese Anforderung stellt eine große Herausforderung an die Effizienz und Ablaufsteuerung des Prozesses dar. Bei dieser Aufgabenstellung kommen wir meistens nicht ohne ein ETL-Werkzeug aus. Ein einfaches ETL-Beispiel mittels DataStage:

Grundlagen IBM DataStage

DataStage ist eines der führenden ETL­Produkte im DWH-Bereich. Dieses Werkzeug unterstützt die Erfassung, Integration und Konvertierung großer Datenmengen mit einfachen und komplexen Datenstrukturen aus heterogenen Datenquellen. Anhand einer Palette von visuellen Komponenten können Data Marts und Data Warehouses schnell und einfach erstellt bzw. gewartet werden: 

DataStage handelt nach dem Prinzip „What you see, is what you get". Durch Links werden Stages zu einer logischen Verarbeitungskette verknüpft. Dabei hat jede Stage bestimmte Eigenschaften:Eine gemeinsame Nutzung von Job-­Komponenten und Metadaten erhöhen zudem die Wiederverwendbarkeit und somit auch die Produktivität. Die Administration der Software erfolgt an zentraler Stelle durch Überwachungs- und Statistik-Tools, wodurch eine gute Kontrolle der Jobs gewährleistet wird. 

Bewertung ​  

Extract, Transform and Load – Unter den führenden Herstellern von ETL- Entwicklungsumgebungen stellt IBM das Produkt DataStage zur Verfügung. Sie nutzen DataStage bereits in Ihrem Unternehmen oder wollen es jetzt neu einsetzen? 

Wir bieten Ihnen folgende Beratungsleistungen an:

• Maßgeschneiderte Prozesslösungen
• Analyse und Optimierung bestehender Prozesse
• Überprüfung bestehender Entwicklungen und der Architektur
• Individualisierung ihrer Anforderungen
• Performance-Analyse
• Beratung beim Einsatz neuer Features

Realisierung

Die Entwicklung mit DataStage setzt fundierte Kenntnisse in der Server- und Enterprise- Entwicklung voraus, um die Umsetzung so effizient wie möglich durchzuführen. Wir helfen Ihnen bei der Umsetzung und realisieren so eine maßgeschneiderte Lösung für Ihr Unternehmen.

Wir realisieren die Umsetzung nach folgenden Merkmalen:

• Anforderungsanalyse
• Bewährtes Vorgehensmodell bei der Implementierung

• Entwicklung performanter Prozesse
• Standardisiertes Testmanagement
• Aussagekräftige und vollständige Dokumentation
• Einweisung und Schulung Ihrer Mitarbeiter

Betrieb 

Die Betreuung und Wartung Ihrer Lösungen ist ein wichtiger Punkt, um Prozesse effektiv zu gestalten. Des Weiteren müssen Neuerungen und Erweiterungen in das laufende System eingebracht werden.

Wir bieten Ihnen hier folgende Leistungen an: 

• Maßgeschneiderter Support nach Ihren Bedürfnissen
• Überwachung der Prozesse
• Übernahme aller DataStage-Prozesse in den Betrieb
• Betreuung der DataStage-Prozesse im Betrieb

Fazit