Datenversorgung mittels ETL – Die Guten ins Töpfchen die schlechten...

...ins Kröpfchen.

Sie fragen sich, welches ETL-Produkt zu Ihrem Unternehmen passt oder ob eine Eigenentwicklung eine Alternative für Sie ist?
Wir bringen Transparenz in Ihre IT-Landschaft durch die Identifikation der kritischen Komponenten und zeigen Ihnen Verbesserungspotenziale auf.

ETL

Die Abkürzung ETL setzt sich zusammen aus dem jeweils ersten Buchstaben der drei Komponenten eines Datenbeschaffungsprozesses.

Extract: Relevante Daten aus verschiedenen Quellen extrahieren
Transform: Daten verarbeiten, Anpassung an das Zielsystem (Datenbank)
Load: Einspielung der Daten in das Zielsystem (Datenbank)

Ein ETL-Prozess kommt immer dann zum Einsatz, wenn Daten aus einem oder mehreren operativen Systemen konsolidiert und in ein Data Warehouse eingespielt werden müssen. Damit soll einer redundanten Datenhaltung beim Import der Daten vorgebeugt und die Verwendung der Daten zu beispielsweise Auswertungszwecken vereinfacht werden.

Vorwiegend wird ein ETL-Prozess zu einem lastenarmen Zeitpunkt oder sobald die Daten im Quellsystem konsistent vorliegen (zum Beispiel nach einem Tagesabschluss) angestoßen.

Der Prozess muss aber innerhalb eines bestimmten Zeitfensters beendet sein. Diese Anforderung stellt eine große Herausforderung an die Effizienz und Ablaufsteuerung des Prozesses dar.

Sprachen und Systeme

Grundsätzlich kann der ETL-Prozess mit selbsterstellten Programmen in allen gängigen Programmiersprachen umgesetzt werden, beispielsweise mit dem Einsatz von SQL und PL/SQL in einer Oracle Datenbankumgebung. Es wird jedoch immer mehr auf bestehende ETL-Werkzeuge anderer Hersteller zurückgegriffen. Diese bringen viele Funktionalitäten von Haus aus mit, die mit einer Individualentwicklung erst programmiert werden müssten. Hierzu zählen Funktionalitäten wie Jobsteuerung, Fehlerbehandlung, Parametrisierung von Umgebungsvariablen oder Protokollierung.

Zu den führenden Anbietern von kommerziellen ETL-Systemen zählen:

IBM (Information Server)
Oracle (Oracle Warehouse Builder, Oracle Data Integrator)
Informatica (PowerCenter)
SAP-Business Objects (Business Objects Data Integrator)
Microsoft (SQL Server Integration Services)

Darüber hinaus gibt es auch eine Reihe an Open-Source-Produkten:

Pentaho Data Integration (Kettle)
Talend Open Source Data Integrator
KETL
Jaspersoft ETL
…

Vorteil einer kommerziellen Software ist ganz klar der verfügbare Support für das Produkt und eine teils weite Verbreitung. Mittlerweile bieten aber auch die Open-Source-Anbieter zu ihren Produkten eine Support-Lösung an. Zudem punkten sie natürlich mit einer großen Community. Dem gegenüber steht eine Individualentwicklung, die vor allem punktet, wenn bereits personelles Know-how im Unternehmen vorhanden ist.

Analyse

Die Entwicklung eines individuellen ETL-Prozesses ist von der vorhandenen Architektur abhängig. Eine umfangreiche Voranalyse kann den Kosten-Nutzen-Faktor erheblich erhöhen. Die Ergebnisse werden den zukünftigen Betrieb deutlich verbessern.

WIR PRÜFEN IHRE ARCHITEKTUR AUF FOLGENDE FRAGESTELLUNGEN:

Gibt es eine geeignete Ablaufumgebung?
Ist ein geeignetes Datenbanksystem vorhanden?
Welche Server-Betriebssysteme sind im Einsatz?
Wird ein Scheduler eingesetzt?

Auswahl

Welche Software passt am besten zu ihrem Unternehmen?

Auf dem Markt existieren sehr viele ETL- Produkte, deren Anschaffung und Betrieb meistens mit sehr hohen Kosten verbunden sind. Hier kann eine Eigenentwicklung, die das bestehende Know-how und die vorhandenen Ressourcen nutzt, das Mittel der Wahl sein.

WIR BIETEN IHNEN FOLGENDE LEISTUNGEN AN:

Überprüfung der Prozesse mit Blick auf die Möglichkeiten einer individuellen Lösung
Auswahl der notwendigen und richtigen Werkzeuge und Anwendungen
Beratung zur effizienten Nutzung der vorhandenen Technologien
Transformation und Harmonisierung Ihrer Daten nach Ihren Bedürfnissen

Umsetzung

ETL-Programme sollen eine effiziente und performante Art der Datenbankbefüllung insbesondere für den Einsatz im Data-Warehouse-Umfeld gewährleisten. Sie sind ausgelegt, um große Datenmengen möglichst schnell, regelmäßig und mit gleichen logischen Transformationen zu verarbeiten. Das kann allerdings auch mit Bordmitteln erreicht werden!

WIR UNTERSTÜTZEN SIE BEI DER UMSETZUNG:
Umsetzung der Befüllung der Datenbanken unter Berücksichtigung von Technologien wie zum Beispiel:

Load einer Datenbank
Transformation und Verarbeitung
Ablauflogik und Logging
Scheduling und Visualisierung
Modularisierte ETL-Prozesse nach dem Vorbild einer ETL-Factory

Fazit

Die Auswahl eines geeigneten ETL-Produktes will sorgfältig überlegt werden. Ob ein gekauftes Produkt, eine OpenSource-Lösung oder eine Eigenentwicklung sinnvoll ist, lässt sich nicht pauschal beantworten.
Gibt es bereits eine Software im Unternehmen? Gibt es Erfahrung mit der einen oder anderen Lösung? Welcher Support für den laufenden Betrieb wird benötigt?
Alles Fragen, die individuell beantwortet werden müssen.

Seminarempfehlung

Sie haben eine komplexe Systemlandschaft und haben genau diese Fragestellung? Sprechen Sie uns an, gerne unterstützen wir mit unser langjährigen Erfahrung im Umfeld ETL und diverser Software-Produkte.

Nehmen Sie Kontakt mit uns auf!