Dieser Tag gehört zu 1 privaten Blogs die hier nicht aufgeführt sind.
Restic (https://restic.net) ist ein einfaches und effizientes Tool um Backups von Systemen zu erstellen. Unter Linux ist es in den meisten Repositories verfügbar, außerdem gibt es Versionen für Mac, BSD und Windows. Die Backups werden in sogenannten Snapshots erstellt, die in einem Repository gespeichert werden. Als Speicherort für das Repository v...
Kurzer Rückblick Mit Version 12c hielt die Container Architektur Einzug in die Oracle Datenbank Welt. Im gleichen Zug wurde die bisherige Datenbank Architektur als "deprecated" markiert mit dem Hinweis, dass diese in einem Release größer 19c möglicherweise nicht mehr unterstützt wird. Mit den Container-Datenbanken änderte sich auch der Sprach...
In Teil drei wurde gezeigt, wie unterschiedliche Python Versionen innerhalb eines Hadoop Clusters genutzt werden können. Im letzten Teil dieses Beitrags führt Olaf Hein unter anderem aus, wie mehr Sicherheit mit dem YARN-Container Executor realisiert wird. Mehr Sicherheit mit dem YARN Container Executor In den bisherigen Beispielen wurden die...
In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Pytho...
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse: Welche Prozesse werden im Betriebssystem gestartet?Mit welchen Rechten werden diese Prozesse ausgeführt?Welcher Python Interpreter und welche Bibliothe...