Vom 18.03. –​ 21.03.2019 findet in Barcelona die Data Works Summit statt - eine der größten Hadoop-Konferenzen in Europa mit Themen zu AI, Machine Learning, IoT, Cloud und mehr. Über 70 Vorträge, Crash Courses und Diskussionsrunden werden von ebenso vielen Speakern gehalten. Wir freuen uns, dass wir durch Olaf Hein mit einen erfahrenen Referenten vertreten sind.

Olaf Hein: Kudu as Storage Layer to Digitize Credit Processes

Mit dem Hadoop Distributed File System​ (HDFS) und Apache HBase stehen im Hadoop-Ökosystem zwei verschiedene Speicheroptionen zur Verfügung. Beide haben ihre Stärken und Schwächen. Aber weder HDFS noch HBase können universell für alle Arten von Workloads verwendet werden. Normalerweise führt dies zu komplexen Hybrid-Architekturen. Kudu ist ein sehr vielseitiger Storage Layer, der diese Lücke schließt und die Architektur von Big-Data-Systemen vereinfacht. 

Eine große deutsche Bank nutzt Kudu als Storage Layer​, um ihre Kreditprozesse zu beschleunigen. Innerhalb dieses Systems werden Finanztransaktionen von Millionen von Kunden von Spark-Jobs analysiert, um Transaktionen zu kategorisieren und Kennzahlen zu berechnen. Neben diesem analytischen Workload verwenden mehrere Frontend-Anwendungen die Kudu Java API, um zufällige Lese- und Schreibvorgänge in Echtzeit auszuführen.​

Die Präsentation von Olaf Hein behandelt folgende Themen:

• Geschäftliche und technische Anforderungen
• Datenzugriffsmuster
• Systemarchitektur
• Kudu-Datenmodellierung
• Kudu-Architektur für Hochverfügbarkeit
• Erfahrungen aus Entwicklung und Betrieb
  
  

Kudu as Storage Layer to Digitize Credit Processes - DataWorks Summit DataWorks Summit