ORDIX BLOG ALS RSS ABONNIEREN

Alles rund um technische Themen, das Unternehmen und eine Karriere bei uns.

Neuigkeiten - Unternehmen. Techologie. Wissen.

(PySpark) on YARN - Behind the Scenes (Teil 4)
ORDIX AG
Data Management
In Teil drei wurde gezeigt, wie unterschiedliche Python Versionen innerhalb eines Hadoop Clusters genutzt werden können. Im letzten Teil dieses Beitrags führt Olaf Hein unter anderem aus, wie mehr Sicherheit mit dem YARN-Container Executor realisiert wird. Mehr Sicherheit mit dem YARN Container Executor  In den bisherigen Beispielen wurden die...
Weiterlesen
(PySpark) on YARN - Behind the Scenes (Teil 3)
ORDIX AG
Data Management
In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen  Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Pytho...
Weiterlesen
(PySpark) on YARN - Behind the Scenes (Teil 2)
ORDIX AG
Data Management
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...
Weiterlesen
ORDIX goes Franken – Wir suchen Sie!
Elisabeth Herick
News
Paderborn, Wiesbaden, Köln, Münster und Gersthofen (bei Augsburg) zählen wir bereits zu unseren Standorten. Mit unserem Tochterunternehmen Object Systems sind wir auch in Essen vertreten. Nun planen wir, auch in der Region Franken mit einer Geschäftsststelle verteten zu sein. Geplante Geschäfststelle in Nürnberg  Schon heute ist die ORDIX...
Weiterlesen
DOAG Konferenz + Ausstellung und Schulungstag 2019
Elisabeth Herick
News
Vom 19. - 22. November findet in Nürnberg wieder die DOAG Konferenz + Ausstellung statt. Auch in diesem Jahr ist die ORDIX AG wieder mit starken Referenten vertreten. Zusätzlich wird Michael Thieme am Schulungstag einen Workshop zur Oracle-Tenant-Technologie geben. Wir freuen uns schon jetzt auf eine spannende Woche und stellen hier kurz die V...
Weiterlesen
(PySpark) on YARN - Behind the Scenes (Teil 1)
ORDIX AG
Data Management
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse: Welche Prozesse werden im Betriebssystem gestartet?Mit welchen Rechten werden diese Prozesse ausgeführt?Welcher Python Interpreter und welche Bibliothe...
Weiterlesen

Contributions in english

Eigene Blogs unserer Mitarbeiter - Der Wissenstransfer geht weiter ...

startseite blog
avatar von markus flechtner

Markus Flechtner
Principal Consultant bei ORDIX

Zum Blog