Meine zweite Praxisphase bei der ORDIX AG: Apache Kafka Self-Service für OpenShift Deployment

study
Hallo zusammen, ich bin Simon, ein dualer Student bei der ORDIX AG. Ich studiere im vierten Semester Informatik. In den letzten drei Monaten habe ich einen Self-Service entwickelt. Dieser kann auf OpenShift ein Apache Kafka Cluster erstellen.ArbeitsalltagMein Arbeitsalltag in den letzten Monaten war sehr angenehm. Für jedes Projekt bei de...
Weiterlesen

Panta rhei, alles fließt. Oder: Wie migriere ich Daten mit Apache NiFi?

nifi-titel
Die Datenmigration ist ein stets präsentes Thema bei vielen Unternehmen, so sind aktuell viele Kunden z.B. mit der Datenmigration in Cloud-Umgebungen beschäftigt. In diesem Zusammenhang werden auch häufig kommerzielle Datenbanken durch Open-Source-Varianten abgelöst.Dabei stellen sich immer wieder die Fragen: Welche Technologien werden benötigt und...
Weiterlesen

(PySpark) on YARN - Behind the Scenes (Teil 4)

pyspark-4
In Teil drei wurde gezeigt, wie unterschiedliche Python Versionen innerhalb eines Hadoop Clusters genutzt werden können. Im letzten Teil dieses Beitrags führt Olaf Hein unter anderem aus, wie mehr Sicherheit mit dem YARN-Container Executor realisiert wird. Mehr Sicherheit mit dem YARN Container Executor In den bisherigen Beispielen wurden die ...
Weiterlesen

(PySpark) on YARN - Behind the Scenes (Teil 3)

pyspark-3
In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Python...
Weiterlesen

(PySpark) on YARN - Behind the Scenes (Teil 2)

pyspark-2
In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark​Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...
Weiterlesen

(PySpark) on YARN - Behind the Scenes (Teil 1)

pyspark-1
In den letzten Wochen wurde ich mehrfach von Kunden gefragt, was im Betriebssystem passiert, wenn Spark bzw. PySpark Jobs ausgeführt werden. Dabei waren vor allem die folgenden Fragen von Interesse:Welche Prozesse werden im Betriebssystem gestartet?Mit welchen Rechten werden diese Prozesse ausgeführt?Welcher Python Interpreter und welche Bibliothek...
Weiterlesen