Dieser Tag gehört zu 3 privaten Blog der hier nicht aufgeführt ist.
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse: Welche Prozesse werden im Betriebssystem gestartet?Mit welchen Rechten werden diese Prozesse ausgeführt?Welcher Python Interpreter und welche Bibliothe...
OracleVM Eine Alternative, Funktionen wie Skalierbarkeit und Hochverfügbarkeit der abgekündigten RAC Option für SE2 abzubilden, bietet die Ebene der Virtualisierung. Oracle bietet mit Oracle VM eine supportete Lösung, Oracle Datenbanken virtualisiert zu betreiben. Der Oracle VM Server unterstützt bei der Einrichtung sogenannter Server Pools,...
Betriebssystembasierte Clusterlösungen Streng genommen ist es eigentlich aussichtslos, einen adäquaten Ersatz zu einem RAC in der SE2 zu finden, da Funktionalitäten wie Load-Balancing, Skalierung und ein schnelles Applikationsfailover nur schwer auf anderem Wege vollständig zu implementieren sind. In der Praxis werden, aus unserer Erfahrung heraus,...
Mit der Version 19c hat Oracle die RAC Option aus der Standard 2 (SE2) eliminiert. Kunden, die aktuell dieses Feature nutzen, haben damit nur noch ca. zwei Jahre, um sich eine alternative Verfügbarkeitsstrategie für ihre Datenbank zu überlegen. Bis spätestens Mitte 2021 (je nach eingesetzter aktueller Version) müssen sie sich einen neuen Weg suchen...
Am 9. Juli wurde Apache Kudu 1.10 veröffentlicht. Nur wenige Wochen später hat Cloudera diese Kudu-Version in die neue Hadoop-Distribution CDH 6.3 integriert. Neben vielen Detailverbesserungen und Fehlerkorrekturen enthält Kudu jetzt einige, seit langem erwartete neue Features: Hive Metastore Integration"fine-grained authorization via integration w...