(PySpark) on YARN - Behind the Scenes (Teil 3)

pyspark-3
In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen  Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Pytho...
Weiterlesen

(PySpark) on YARN - Behind the Scenes (Teil 2)

pyspark-2
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark ​ Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzlic...
Weiterlesen

ORDIX goes Franken – Wir suchen Sie!

Nuernberg1
Paderborn, Wiesbaden, Köln, Münster und Gersthofen (bei Augsburg) zählen wir bereits zu unseren Standorten. Mit unserem Tochterunternehmen Object Systems sind wir auch in Essen vertreten. Nun planen wir, auch in der Region Franken mit einer Geschäftsststelle verteten zu sein. Geplante Geschäfststelle in Nürnberg  Schon heute ist die ORDIX...
Weiterlesen

DOAG Konferenz + Ausstellung und Schulungstag 2019

Banner_DOAG
​Vom 19. - 22. November findet in Nürnberg wieder die DOAG Konferenz + Ausstellung statt. Auch in diesem Jahr ist die ORDIX AG wieder mit starken Referenten vertreten. Zusätzlich wird Michael Thieme am Schulungstag einen Workshop zur Oracle-Tenant-Technologie geben. Wir freuen uns schon jetzt auf eine spannende Woche und stellen hier kurz die ...
Weiterlesen

(PySpark) on YARN - Behind the Scenes (Teil 1)

pyspark-1
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse: Welche Prozesse werden im Betriebssystem gestartet? Mit welchen Rechten werden diese Prozesse ausgeführt? Welcher Python Interpreter und welche Bibliot...
Weiterlesen

Exadata: Das Flaggschiff von Oracle?

Titel_msk
Die Exadata ist ein „Oracle Engineered System". Die Server-Hardware, das Storage und das Operation System (Oracle Linux) werden von Oracle geliefert. Diese Komponenten sind speziell auf die Oracle-Datenbank abgestimmt. In diesem Artikel beschreibe ich die Vorteile, die exklusiven Features der Exadata und gebe Einblicke aus einem erfolgreichen Exada...
Weiterlesen