Dieser Tag gehört zu 3 privaten Blog der hier nicht aufgeführt ist.
In Teil drei wurde gezeigt, wie unterschiedliche Python Versionen innerhalb eines Hadoop Clusters genutzt werden können. Im letzten Teil dieses Beitrags führt Olaf Hein unter anderem aus, wie mehr Sicherheit mit dem YARN-Container Executor realisiert wird. Mehr Sicherheit mit dem YARN Container Executor In den bisherigen Beispielen wurden die...
In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Pytho...
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse: Welche Prozesse werden im Betriebssystem gestartet?Mit welchen Rechten werden diese Prozesse ausgeführt?Welcher Python Interpreter und welche Bibliothe...
OracleVM Eine Alternative, Funktionen wie Skalierbarkeit und Hochverfügbarkeit der abgekündigten RAC Option für SE2 abzubilden, bietet die Ebene der Virtualisierung. Oracle bietet mit Oracle VM eine supportete Lösung, Oracle Datenbanken virtualisiert zu betreiben. Der Oracle VM Server unterstützt bei der Einrichtung sogenannter Server Pools,...
Betriebssystembasierte Clusterlösungen Streng genommen ist es eigentlich aussichtslos, einen adäquaten Ersatz zu einem RAC in der SE2 zu finden, da Funktionalitäten wie Load-Balancing, Skalierung und ein schnelles Applikationsfailover nur schwer auf anderem Wege vollständig zu implementieren sind. In der Praxis werden, aus unserer Erfahrung heraus,...