Das Airflow-Projekt wurde im Oktober 2014 bei Airbnb gestartet, um das massive Wachstum an Daten-Workflows in den Griff zu bekommen. Seit Juni 2015, ist Airflow als Open-Source-Projekt verfügbar und wird von der Apache Software Foundation geleitet. Airbnb bezeichnet Airflow als Workflow-Management-Plattform. Airflow ist in Python geschrieben und au...

Für interne Data-Science-Arbeiten soll eine Data Science Workbench in Form einer verwalteten JupyterLab-Instanz in der Google Cloud erstellt werden. Die JupyterLab Instanzen sollen automatisiert gestartet und gestoppt werden können, um dem jeweils aktuellen Bedarf gerecht werden zu können und um Kosten einzusparen. Doch wie könnte eine solche ...

Vielleicht haben Sie bereits von Apache Kafka gehört. Immerhin wird Kafka (laut eigener Aussage) in über 80% der 'Fortune-100'-Firmen eingesetzt. Doch was ist Kafka überhaupt? Im Folgenden möchte ich versuchen diese Frage zu beantworten. Dabei gehe ich lediglich auf die fachlichen und technischen Grundlagen ein. Eine Installationsanleitung&nbs...