Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 3)

big-data-hadoop3-klein
Fortsetzung des Blogartikels Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 2) Wir geben einen Überblick über die Neuerungen und beleuchten die wichtigen Features der neuen Hadoop-Version. Verbesserte Clusterauslastung durch Yarn Opportunistic Containers Um die Effizienz eines Hadoop Clusters zu erhöhen, muss die Ressourcenauslastung (Prozessor, ...
Weiterlesen

Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 2)

big-data-hadoop2-klein
Fortsetzung des Blogartikels Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 1) Wir geben einen Überblick über die Neuerungen und beleuchten die wichtigen Features der neuen Hadoop-Version. Konfiguration mehrerer HDFS NameNodes Die Konfiguration mehrerer NameNodes erfolgt über die core-site.xml und hdfs-site.xml. Folgende Properties müssen gesetzt...
Weiterlesen

Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 1)

Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 1)
Die Features der Hadoop Version 3 sind bereits seit Ende 2017 verfügbar, wurden aber erst Mitte 2018 von den großen kommerziellen Distributionen adaptiert. Es gibt zu beachtende Änderungen, wie zum Beispiel die Neubelegung der Service Ports, aber auch neue  Features, wie den Support für Erasure Coding innerhalb des HDFS. Die Plattformen  ...
Weiterlesen

Big Data – Informationen neu gelebt (Teil VIII): Hadoop Security

Big Data – Informationen neu gelebt (Teil VIII): Hadoop Security
Zu einem der am meisten genutzten Technologien im Bereich Big Data gehört Hadoop. Das Hadoop-Kernsystem besteht dabei aus dem Hadoop Distributed File System (HDFS), dem Ressourcenmanager YARN (Yet Another Resource Negotiator) und dem MapReduce- Framework. Daneben gibt es noch viele weitere Komponenten, die mit den Hadoop-Kernkomponenten interagiere...
Weiterlesen

Apache Kudu: Big Data – Informationen neu gelebt (Teil VII)

Apache Kudu: Big Data – Informationen neu gelebt (Teil VII)
Im September 2016 wurde die Version 1.0 von Apache Kudu veröffentlich. Seit Januar 2017 ist Kudu vollständig in die Hadoop-Distribution von Cloudera integriert und für den produktiven Einsatz freigegeben. Somit gibt es jetzt eine weitere Datenbank im Hadoop Zoo. Aber warum wird überhaupt eine weitere Datenbank benötigt? Was ist das Besondere an Kud...
Weiterlesen

Python Generator-Funktionen und -Expressions: Ein alter Hut kann auch modern sein

Python Generator-Funktionen und -Expressions: Ein alter Hut kann auch modern sein
Funktionen wie filter() , map() und zip() geben seit Python 3 keine Liste, sondern einen Iterator zurück. Dadurch muss nicht die gesamte Liste im Speicher gehalten werden, sondern immer nur das aktuelle Objekt. Dies ist wesentlich effizienter und eine gute Vorlage für das Design von eigenem Code. Schon seit Python 2.3 bzw. 2.4 können Generator-Funk...
Weiterlesen