Der Cassandra Effekt oder wie man NoSQL-Datenbanken in Container integriert
Calvin Knoke
Big Data & AI
Apache Cassandra befindet sich weiterhin unter den Top 10 der NoSQL-Datenbanken und ist sowohl frei als auch kostenpflichtig in der DataStax Distribution erhältlich. Größere Unternehmen wie Netflix und Apple verwenden Cassandra stets für die Organisation von großen Datenmengen, wie z.B. der Empfehlung von weiteren Serien im eigenen Netflix Dashboar...
Weiterlesen
Apache NiFi: Zurück zum Code? Was kann die nipyapi?
Janis Ax
Big Data & AI
Apache NiFi erfreut sich weiter steigender Beliebtheit. Vor allem Entwickler:innen schätzen die über den Browser erreichbare Web-UI. Dadurch lassen sich mit wenigen Klicks anspruchsvolle Flows erstellen, die Daten transformieren und transportieren können. Für NiFi Admins oder Operators kann die UI jedoch unbequem werden. Immer wiederkehrende Tätigk...
Weiterlesen
Talend, NiFi, Spark & Pandas als Data- Engineering-Tools? - Datapreprocessing von Wetterdaten
Ronny Horst
Karriere
In meinem letzten Blogartikel habe ich die Data Science Pipeline (DSP) und insbesondere den Bereich des Data Engineerings anhand meines Praxisprojekts "Evaluierung & Dokumentation der Data Science Pipeline (mit Fokus auf den Data Engineering Kreislauf)" vorgestellt. Dabei lag der Fokus vor allem auf den verschiedenen Arbeitsschritten des Data E...
Weiterlesen
Data Science Workbench in der Google Cloud
David Hagens
Data Management
Für interne Data-Science-Arbeiten soll eine Data Science Workbench in Form einer verwalteten JupyterLab-Instanz in der Google Cloud erstellt werden. Die JupyterLab Instanzen sollen automatisiert gestartet und gestoppt werden können, um dem jeweils aktuellen Bedarf gerecht werden zu können und um Kosten einzusparen. Doch wie könnte eine solche ...
Weiterlesen
Experimente mit dem Backup und Restore von Apache Kudu
Johannes Julius Schmitz
Data Management
In der ORDIX news wurde bereits die Apache Kudu Datenbank vorgestellt. Im Juli 2019 wurde dann die Version 1.10.0 der Kudu Datenbank veröffentlicht. Über die Neuerungen berichtete Olaf Hein in einem ORDIX blog Beitrag. In diesem Beitrag wird die in der Version 1.10.0 implementierte Backup-Funktionalität sowie die Möglichkeit zur Analyse der Backups...
Weiterlesen
Machine Learning…aber sicher!?
Nils von Nethen
Machine Learning
Viele unterschiedliche Branchen nutzen die Vorzüge von Data Science und die Möglichkeit, künstliche Intelligenz einzusetzen. Das bekannteste Beispiel sind dabei vermutlich die Produktempfehlungen auf den Plattformen von Online-Versandhändlern. Dort wird künstliche Intelligenz auch zur Bilderkennung bei Retouren, für Größenempfehlungen oder für die ...
Weiterlesen