Der Einsatz von Künstlicher Intelligenz (KI) und Machine Learning (ML) ist auf dem Vormarsch. Dabei ergeben sich neue Herausforderungen im Vergleich zu klassischen Softwareentwicklungs-Projekten. In dieser Beitragsreihe beschreiben wir einige der technischen Herausforderungen bei der Inbetriebnahme von KI und stellen mit MLflow ein Tool vor, mit de...

Das Thema Security nimmt in der heutigen Zeit stetig an Bedeutung zu. Auch im Cloudera-Cluster-Umfeld gibt es Mechanismen und Features, welche dazu beitragen können, die Kommunikation innerhalb und außerhalb des Clusters abzusichern. Die Basis bilden dabei die Authentisierung, die Authentifizierung und die Autorisierung. Heißt also, dass vom User z...

Was kann KI in der Praxis leisten? Zur Beantwortung dieser Frage haben über 200 Referenten am 10. und 11. April 2019 auf dem Big-Data.AI Summit ihre praktischen Ansätze für konkrete Probleme aus dem Bereich KI vorgestellt. Jetzt hat die Bitkom den Leitfaden „Konkrete Anwendungsfälle von Künstlicher Intelligenz & Big-Data in der Industrie" ...

In Teil drei wurde gezeigt, wie unterschiedliche Python Versionen innerhalb eines Hadoop Clusters genutzt werden können. Im letzten Teil dieses Beitrags führt Olaf Hein unter anderem aus, wie mehr Sicherheit mit dem YARN-Container Executor realisiert wird. Mehr Sicherheit mit dem YARN Container Executor  In den bisherigen Beispielen wurden die...

In Teil 2 wurde gezeigt, welche Prozesse bei der Verwendung der PySpark Shell verwendet werden. Im dritten Teil geht Olaf Hein auf die Verwendung unterschiedlicher Python Versionen ein. Verwendung unterschiedlicher Python Versionen  Im letzten Beispiel wurde die Standard Python Installation des Betriebssystems verwendet. Wenn eine andere Pytho...

In Teil eins wurde gezeigt, welche YARN Container und welche Linux Prozesse beim Aufruf der Spark Shell gestartet werden. Im zweiten Teil dieses Beitrags führt Olaf Hein aus, wie die Python Shell mit PySpark gestartet wird. Python + Spark Im letzten Beispiel wurde die Spark Shell für Scala verwendet. Bei der Verwendung von Python werden zusätzliche...