Oracle Data Integrator geht in die Cloud

Wenn es um den Aufbau von ELT/ETL Strecken geht, bieten sich verschiedene Lösungen an. Eine davon kommt von Oracle: „Oracle Data Integrator“. Natürlich gibt es auch von diesem Produkt eine Cloud-Version. Taugt dieses Tool als Ersatz der Client-Version? Wir werfen einen ersten Blick auf die Cloud-Version des ODI. 

Status Quo 

Bisher war „ODI“ nur als Client-Version verfügbar. Die Installation, Konfiguration und Administration war teilweise mit viel Aufwand verbunden. 

Ab sofort gibt es eine Alternative von Oracle. Eine webbasierte Umgebung, die direkt über die Cloud von Oracle zugänglich ist: Data Integrator: Web Edition. Oracle bewirbt die Lösung explizit wie folgt: „A simple to use, intuitive web editor for authoring, running, scheduling and monitoring your data transformations“ (Oracle, 2022).

Zudem ist diese Variante mit der von Oracle angebotenen Autonomous Database kompatibel. Das heißt, dass mit wenigen Klicks neben der ODI-Umgebung auch eine selbst verwaltende Datenbank in der Cloud erstellt werden kann. Zusätzlich zum Wegfall der eigentlichen Installation und der vereinfachten Administration (Autonomous Database) liegt ein weiterer möglicher Vorteil in der automatischen Skalierung. So kann ein sporadisch auftretender Ressourcenbedarf befriedigt werden, ohne dauerhaft (z. B. On Premise) Hardware bereitzustellen, die nur gelegentlich genutzt wird. Außerdem kann der Anwender von weiteren Cloud-Funktionalitäten profitieren, wie dem Oracle Data Safe. Dieser ermöglicht es, Risiken für Daten und Benutzer auszuwerten und zu überwachen sowie sensible Daten gesondert zu schützen. 

SQL in der Cloud 

Möchte man auf die Autonomous Database zugreifen, bietet Oracle auch hier eine simple Lösung an. Eine reduzierte, aber mit allen Grundfunktionen vorhandene Version des SQL Developers kann über die Cloud aufgerufen werden. So kann umgehend mit den Daten gearbeitet werden. Selbstverständlich ist ein Zugriff über eine lokale Version des SQL Developers auf die Cloud jederzeit möglich. 

Nebenbei ermöglicht die Online-Version auch den automatischen Import von z. B. CSV-Dateien in Tabellen, welche ebenso autonom und zeitgleich mit dem Import erstellt werden. 

Data Integrator: Web Edition 

Hat man eine verfügbare Datenbank eingerichtet, kann man ebenso auf den Data Integrator: Web Edition mit wenigen Klicks zugreifen (Abbildung 3). Auch hierbei handelt es sich um eine reduzierte Variante der Client-Version, die jedoch ebenfalls alle wichtigen Funktionalitäten mitbringt. Aggregationen, Filter, Joins und/oder Splits lassen sich zum Beispiel ohne Probleme in den ELT-Prozessen aufnehmen. In der folgenden Abbildung 3 ist ein Ausschnitt dieses Tools dargestellt. 

Im Folgenden möchten wir die Verwendung dieses Werkzeuges anhand des Beispiels einer Transformationsstrecke aus Abbildung 3 näher erläutern. Hierbei liegen Kundendaten mit unterschiedlichen Attributen in den Tabellen "NEUKUNDEN" und "NEUKUNDEN2" vor (Abbildung 4 und 5).

Unser Ziel ist es, die Daten einheitlich zu transformieren und dem Nachnamen entsprechend in die Zieltabellen "KUNDE_A_M" und "KUNDE_N_Z" zu routen.

In der Tabelle "NEUKUNDEN" liegt der Nachname zusammen mit dem Vornamen im Feld "kundenname" vor. Dadurch muss der Kundenname zunächst geteilt werden, sodass Vorname und Nachname atomar in die Zieltabelle verarbeitet werden können. 

In der Tabelle "NEUKUNDEN2" wurde das Attribut „Adresse“ nicht sauber modelliert. Auch dieses Feld muss in atomare Informationen getrennt werden. 

Die jeweiligen Transformationen und das Zusammenführen beider Tabellendaten werden mithilfe des „Set" durchgeführt. Hierbei kann man einerseits die Attribute per „drag and drop" einfach zuordnen oder Oracle-spezifische Funktionen verwenden, um Daten anzupassen.

Anschließend liegen die Daten formgerecht vor und können über den Split Operator (Abbildung 6) den Zieltabellen zugewiesen werden. 

Grundprobleme der klassischen ETL-Entwicklung, wie Versionierung von Verarbeitungen oder parallele Bearbeitung von Verarbeitungen, kann auch der ODI Web Edition nicht lösen. So zeigen eigene Versuche, dass man mit zwei Usern auf das Tool zugreifen kann, Änderungen aber nicht live übernommen werden.

Anpassungen, die von einem anderen User vorgenommen und gespeichert werden, sind in der eigenen Session nicht sofort sichtbar. Erst nachdem man die Website neu geladen hat, erscheinen die Änderungen. Speichert man hingegen seine eigenen Änderungen ab, so wird der Stand der anderen Session ohne Warnung überschrieben. In der Clientsoftware des Oracle Data Integrators gibt es hierfür einen automatischen Sperrmechanismus für das jeweilige Mapping. 

Fazit 

Oracle hält sein Versprechen und ermöglicht es uns schnell und einfach ELT-Strecken in der Oracle Cloud per Webbrowser zu erstellen. Für einfache Schnittstellen bietet die ODI Cloud-Version eine gute Alternative zu der Clientsoftware. Auch ist die Integration des ODIs als Cloud-Produkt ein großer Schritt Richtung Oracle-Cloud-Ökosystem und kann so von Synergien mit anderen Cloud-Produkten profitieren.

Um die Cloud-Dienste zu testen, bietet Oracle hier eine begrenzte Anzahl an „always free“ Varianten an. Dennoch kann mit allen integrierten Funktionen gearbeitet und der Workflow getestet werden. Das Cloud-Produkt Data Integrator ist zwar kostenlos, aber mit Nebenkosten, wie genutzter CPU-Zeit verbunden.

Dennoch stellt sich die Frage, ob der Data Integrator: Web Edition für anspruchsvollere Projekte geeignet ist. Die Antwort gibt Oracle eigentlich selbst:

„This listing is for easy-to-use Oracle Data Transforms targeted to analysts and small data marts. If you have enterprise needs such as high availability, a very large number of transformations, or very specific needs for the use of staging areas, you should consider our enterprise offering "
(Oracle, 2022).

Ein direkter Vergleich und Ausloten der Grenzen und Unterschiede zwischen der Client- und Cloud-Version gilt es noch zu erarbeiten. Ebenfalls bleibt es abzuwarten, wie Oracle seine Strategie in den kommenden Jahren ausarbeitet.

Seminarempfehlung