Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 3)
Aron Tigor Möllers
Data Management
Fortsetzung des Blogartikels Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 2) Wir geben einen Überblick über die Neuerungen und beleuchten die wichtigen Features der neuen Hadoop-Version. Verbesserte Clusterauslastung durch Yarn Opportunistic Containers Um die Effizienz eines Hadoop Clusters zu erhöhen, muss die Ressourcenauslastung (Prozessor, ...
Weiterlesen
Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 2)
Aron Tigor Möllers
Data Management
Fortsetzung des Blogartikels Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 1) Wir geben einen Überblick über die Neuerungen und beleuchten die wichtigen Features der neuen Hadoop-Version. Konfiguration mehrerer HDFS NameNodes Die Konfiguration mehrerer NameNodes erfolgt über die core-site.xml und hdfs-site.xml. Folgende Properties müssen gesetzt...
Weiterlesen
Neuigkeiten im Überblick - Apache Hadoop 3 (Teil 1)
Aron Tigor Möllers
Data Management
Die Features der Hadoop Version 3 sind bereits seit Ende 2017 verfügbar, wurden aber erst Mitte 2018 von den großen kommerziellen Distributionen adaptiert. Es gibt zu beachtende Änderungen, wie zum Beispiel die Neubelegung der Service Ports, aber auch neue Features, wie den Support für Erasure Coding innerhalb des HDFS. Die Plattformen Ho...
Weiterlesen
Git-repositories synchronisieren
Aron Tigor Möllers
Data Management
In einem Projekt wird ein Git-Repository auf einen anderen Server umgezogen, indem das gesamte Verzeichnis kopiert wird. Das alte Repository ist weiterhin erreichbar, soll aber nicht verwendet werden. Nun haben nicht alle Entwickler ihre Remotes rechtzeitig angepasst und haben ihren letzten Code versehentlich in das alte Repository hochgeladen.Da jedoch bereits andere Entwickler auch in das neue Repository Änderungen hochgeladen haben, kann das alte Repository nicht einfach erneut herüber kopiert werden.Um beide Repositories zu synchronisieren, kann die Eigenschaft ausgenutzt werden, dass es sich bei Git um ein verteiltes Source-Code-Managment handelt [1].
Weiterlesen