Dieser Tag gehört zu 2 privaten Blog der hier nicht aufgeführt ist.
Mit dem Release 3.1.0 der Hortonworks Data Platform (HDP) hat auch Hive 3 Einzug in die Hadoop-Distribution gehalten. Mit Hive 3 wurde die ACID-Funktionalität stark verbessert, sodass Transactional Tables nun der Standard-Tabellentyp sind. Wie Transactional Tables verwendet werden, was es bezüglich des darunterliegenden Dateisystems zu beachte...
Dieser Teil der Reihe dreht sich um die Herausforderungen von Model Serving. In Teil 2 wurde das Modul MLflow Models eingeführt und gezeigt, wie ein trainiertes Modell im Artifact Store gespeichert werden kann. In diesem Teil wird vorgestellt, wie ein solches Modell in verschiedenen Formen bereitgestellt werden kann. Problem 3: Model Serving Wenn e...
In Teil 1 wurde gezeigt, wie mit MLflow in der Entwicklungsphase der Überblick über Metriken und Parameter behalten werden kann. Im zweiten Teil werden die Herausforderungen beschrieben, die sich beim Model Management ergeben. Problem 2: Model Management Trainierte Modelle werden in der Regel in anderen Software-Umgebungen eingesetzt als denen, in ...
Der Einsatz von Künstlicher Intelligenz (KI) und Machine Learning (ML) ist auf dem Vormarsch. Dabei ergeben sich neue Herausforderungen im Vergleich zu klassischen Softwareentwicklungs-Projekten. In dieser Beitragsreihe beschreiben wir einige der technischen Herausforderungen bei der Inbetriebnahme von KI und stellen mit MLflow ein Tool vor, mit de...
Das Thema Security nimmt in der heutigen Zeit stetig an Bedeutung zu. Auch im Cloudera-Cluster-Umfeld gibt es Mechanismen und Features, welche dazu beitragen können, die Kommunikation innerhalb und außerhalb des Clusters abzusichern. Die Basis bilden dabei die Authentisierung, die Authentifizierung und die Autorisierung. Heißt also, dass vom User z...
In Teil drei wurde gezeigt, wie unterschiedliche Python Versionen innerhalb eines Hadoop Clusters genutzt werden können. Im letzten Teil dieses Beitrags führt Olaf Hein unter anderem aus, wie mehr Sicherheit mit dem YARN-Container Executor realisiert wird. Mehr Sicherheit mit dem YARN Container Executor In den bisherigen Beispielen wurden die...