Dieser Tag gehört zu 2 privaten Blog der hier nicht aufgeführt ist.
Der Einsatz von Künstlicher Intelligenz (KI) und Machine Learning (ML) ist auf dem Vormarsch. Dabei ergeben sich neue Herausforderungen im Vergleich zu klassischen Softwareentwicklungs-Projekten. In dieser Beitragsreihe beschreiben wir einige der technischen Herausforderungen bei der Inbetriebnahme von KI und stellen mit MLflow ein Tool vor, mit de...
Das Thema Security nimmt in der heutigen Zeit stetig an Bedeutung zu. Auch im Cloudera-Cluster-Umfeld gibt es Mechanismen und Features, welche dazu beitragen können, die Kommunikation innerhalb und außerhalb des Clusters abzusichern. Die Basis bilden dabei die Authentisierung, die Authentifizierung und die Autorisierung. Heißt also, dass vom User z...
In Teil drei wurde gezeigt, wie unterschiedliche Python Versionen innerhalb eines Hadoop Clusters genutzt werden können. Im letzten Teil dieses Beitrags führt Olaf Hein unter anderem aus, wie mehr Sicherheit mit dem YARN-Container Executor realisiert wird. Mehr Sicherheit mit dem YARN Container Executor In den bisherigen Beispielen wurden die...
In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Pytho...
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse: Welche Prozesse werden im Betriebssystem gestartet?Mit welchen Rechten werden diese Prozesse ausgeführt?Welcher Python Interpreter und welche Bibliothe...