(PySpark) on YARN - Behind the Scenes (Teil 3)
ORDIX AG
Data Management
In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen  Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Pytho...
Weiterlesen
(PySpark) on YARN - Behind the Scenes (Teil 2)
ORDIX AG
Data Management
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...
Weiterlesen
(PySpark) on YARN - Behind the Scenes (Teil 1)
ORDIX AG
Data Management
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse: Welche Prozesse werden im Betriebssystem gestartet?Mit welchen Rechten werden diese Prozesse ausgeführt?Welcher Python Interpreter und welche Bibliothe...
Weiterlesen
Exadata: Das Flaggschiff von Oracle?
Michael Skowasch
Data Management
Die Exadata ist ein „Oracle Engineered System". Die Server-Hardware, das Storage und das Operation System (Oracle Linux) werden von Oracle geliefert. Diese Komponenten sind speziell auf die Oracle-Datenbank abgestimmt.In diesem Artikel beschreibe ich die Vorteile, die exklusiven Features der Exadata und gebe Einblicke aus einem erfolgreichen Exadat...
Weiterlesen
Datenbanken & Verzeichnisdienst – ein Bund fürs Leben (Teil 3)
ORDIX AG
Data Management
Zusammen starten Am Ende der Planungszeit sind die Bedenken aus dem Weg geräumt und die Entscheidung gefestigt, es miteinander zu versuchen. Das neue Zuhause wird eingerichtet und der Umzugstermin festgelegt. Eine Zeit, in der neue Freunde an Bedeutung gewinnen. Zu diesen Freunden werden sicherlich dsconfig, eusm, ldapmodify und ldapsearch gehören....
Weiterlesen
Datenbanken & Verzeichnisdienst – ein Bund fürs Leben (Teil 2)
ORDIX AG
Data Management
Man nehme … Schauen wir uns nach dem Überblick die Umsetzung an. Die Verzeichnisdienste gehören zum Identity-Management-Paket der Fusion-Middleware. Ich bevorzuge die Lösung mit dem Oracle Unified Directory (OUD), weil es seine eigene schlanke Datenbank enthält. Über ein Web Interface zur Verwaltung von OUD-Instanzen, genannt Oracle Unified Di...
Weiterlesen