Software 2.0: Experiment Tracking - Fortsetzung

Im ersten Teil wurden die konzeptionellen Unterschiede von herkömmlicher Softwareentwicklung zu „Software 2.0" näher beleuchtet. In diesem Artikel werden die Lösungen verschiedener Anbieter evaluiert und es wird ein konkreter Vergleich anhand der gebotenen Features aufgestellt. Zudem erfolgt eine Erläuterung der Schwerpunktrichtungen und eine Auswahl an Anwendungsszenarien und ihrer respektive geeigneten Frameworks.

Die angebotenen Lösungen verfolgen jeweils andere Schwerpunkte, wobei sich hier drei Richtungen herauskristallisieren. Zum einen der Fokus auf das bloße Experiment-Management, wobei diese Systeme immer mehr dazu übergehen, weitere Teile des ML-Zyklus zu integrieren, um relevant zu bleiben. Des Weiteren gibt es namentlich mit DVC ein Framework, welches sich spezifisch auf die Git-ähnliche Versionierung von Daten und zusätzlichen Artefakten konzentriert und dabei weniger auf Automatisierung abzielt. Zu guter Letzt unternehmen viele Frameworks den Versuch der Abdeckung des kompletten Zyklus, wobei hier manche Anbieter mehr auf einfache und modulare Integration setzen und andere komplexere Strukturen vorgeben, um eine bessere Skalierbarkeit zu gewährleisten.

Immer mehr Firmen setzen auf AI-Lösungen und schulen dabei häufig, aufgrund des Fachkräftemangels, vorhandenes Personal um und weiter, um die zusätzlichen Anforderungen abzudecken. Dabei werden kleinere interdisziplinäre Teams gebildet.
Für diesen Anwendungsfall eignet sich besonders MLflow, da es in der Lage ist, den kompletten ML-Zyklus abzudecken, durch seine Modularität jedoch auch schrittweise integriert werden kann und so mit den Anforderungen des Projekts wächst. Noch fehlende Features, wie eine ausgeprägte Nutzerverwaltung und Ressourcen-Tracking, fallen hierbei nicht so sehr ins Gewicht und die intuitive und sprachagnostische API sorgen für eine einfache Handhabung.

Bei dedizierten Data-Science-Abteilungen, werden häufig einzelne Projektteams gebildet. Um hier den Wissensaustausch zu fördern und eine einheitliche Möglichkeit zum Reporting an alle Stakeholder bereitzustellen, bietet sich eine zentralisierte Anlaufstelle für gemeinsames Arbeiten an.
Diese Anforderungen deckt WandB sehr schön ab, da es über ausgereifte Reportfunktionen verfügt und die Erstellung von individualisierbaren Dashboards ermöglicht. Dabei kann mittels der vorhanden Nutzerverwaltung eine übersichtliche Projekteinteilung gewährleistet und einzelne Dashboards oder Experimente und Artefakte geteilt werden. Zudem verfügt WandB über die nötigen Features, um alle Belange innerhalb des ML-Zyklus abdecken zu können.

In großen Organisationen kann meist kein einheitlicher Technologie-Stack projektübergreifend festgelegt werden. Vielmehr soll ein einheitlicher Rahmen definiert werden, welcher dabei sprach- und systemagnostisch bleibt. Hierfür wird meist auf Container-Technologien gesetzt, welche im Clusterbetrieb orchestriert werden können.
Zur Umsetzung einer solchen Abstraktionsebene bieten sich die Frameworks Valohai und Pachyderm an. Diese basieren auf dem Gedanken der Container-Orchestration und stellen alle nötigen Funktionen zur Erstellung von Preprocessing-Pipelines, dem Experiment-Tracking und automatisiertem Deployment zur Verfügung. Pachyderm kann zudem auch in der kostenfreien Community-Version verwendet und bei Bedarf auf die Enterprise-Version geupgradet werden.

Durch die große Vielfalt an vorhanden Framework-Anbietern ist für jeden Anwendungsfall eine geeignete Lösung verfügbar. Insgesamt stehen dabei die kostenfreien Varianten den proprietären Lösungen in nichts nach und übertreffen diese teilweise sogar. Aufgrund der kompetitiven Anbieterzahl wird zudem eine rege Weiterentwicklung gefördert, die das Entwickeln einer Inhouse-Lösung größtenteils überflüssig macht. Der aktuelle Reifegrad der Systeme ist bereits in der Lage, die zusätzlichen Herausforderungen des ML-Zyklus abzudecken. Ob sich eine endgültige Lösung herauskristallisiert, wie es beispielsweise mit Git in der klassischen Versionsverwaltung der Fall ist, bleibt abzuwarten.