ORDIX in Barcelona – Olaf Hein hält einen Vortrag auf der DataWorks Summit

Olaf Hein: Kudu as Storage Layer to Digitize Credit Processes

Mit dem Hadoop Distributed File System (HDFS) und Apache HBase stehen im Hadoop-Ökosystem zwei verschiedene Speicheroptionen zur Verfügung. Beide haben ihre Stärken und Schwächen. Aber weder HDFS noch HBase können universell für alle Arten von Workloads verwendet werden. Normalerweise führt dies zu komplexen Hybrid-Architekturen. Kudu ist ein sehr vielseitiger Storage Layer, der diese Lücke schließt und die Architektur von Big-Data-Systemen vereinfacht. 

Eine große deutsche Bank nutzt Kudu als Storage Layer, um ihre Kreditprozesse zu beschleunigen. Innerhalb dieses Systems werden Finanztransaktionen von Millionen von Kunden von Spark-Jobs analysiert, um Transaktionen zu kategorisieren und Kennzahlen zu berechnen. Neben diesem analytischen Workload verwenden mehrere Frontend-Anwendungen die Kudu Java API, um zufällige Lese- und Schreibvorgänge in Echtzeit auszuführen.

Die Präsentation von Olaf Hein behandelt folgende Themen:

• Geschäftliche und technische Anforderungen
• Datenzugriffsmuster
• Systemarchitektur
• Kudu-Datenmodellierung
• Kudu-Architektur für Hochverfügbarkeit
• Erfahrungen aus Entwicklung und Betrieb