Täglich stehen wir vor der Herausforderung, die optimalen Referent:innen für unsere Schulungen bei der ORDIX AG zu finden. Die Suche berücksichtigt zahlreiche Aspekte wie Erfahrung, Verfügbarkeit und regionale Nähe. Ähnliche Entscheidungen erfordern bei anderen Firmen in der Ressourcenplanung ebenso sorgfältige Abwägungen. Künstliche Intelligenz bietet eine vielversprechende Lösung, um diesen Prozess zu optimieren. In diesem Blogbeitrag präsentieren wir einen Business Case, der die finanzielle und strategische Analyse für die Entwicklung oder den Kauf eines neuen Tools beleuchtet. Erfahren Sie, wie wir durch diese Abwägungen zu dem Entschluss gekommen sind, ein maßgeschneidertes KI-Tool selbst zu entwickeln und welche Form es annehmen wird.
Was ein Aufwand! Das Problem manueller Planung
Ressourcenplanung, speziell die Zuweisung von Mitarbeiter:innen zu Projekten oder Aufträgen, ist eine der wichtigsten Managementaufgaben im Dienstleistungsbereich. Die ORDIX AG ist eine mittelständische IT-Beratung, die auch ein vielfältiges Seminar- und Schulungsprogramm anbietet. Durch das stetige Wachstum der Firma, haben sich das Schulungsangebot und der Mitarbeiter:innenstamm mittlerweile so stark vergrößert, dass die manuelle Ressourcenplanung für Schulungen einen erheblichen Aufwand verursacht. In 200 bis 250 Fällen pro Jahr steht das Ressourcen-Management-Team vor der Aufgabe, gemäß einer Kundenanfrage die passende Schulung und eine:n geeignete:n Dozent:innen zu finden. Bei ca. 150 aktiven Seminarangeboten und ungefähr 300 Mitarbeitenden den Überblick zu behalten, welche Mitarbeiter:innen als Dozent:innen für welche Seminare infrage kommen, wird zunehmend zur Herausforderung.
Die Anfragen der Kunden sind dabei sehr heterogen. Manche fragen direkt nach einer Bestellnummer aus dem Schulungskatalog. Andere Interessenten fragen nach konkreten Themen oder speziellen Inhalten. Manchmal sind die Fragen nur sehr vage, gelegentlich aber auch sehr spezifisch und detailliert formuliert. Auch bei den Terminen sind die Kunden unterschiedlich flexibel. Manche benötigen die angefragte Schulung an einem bestimmten Tag, was die Ressourcenplanung eher kompliziert. Andere wiederum sind bezüglicher der terminlichen Planung sehr flexibel und stellen mehrere Termine und/oder Kalenderwochen zur Auswahl. All dies führt zu einer hohen Arbeitslast auf das Ressourcen-Management-Team, die den Wunsch entstehen ließ, diesen Prozess zu automatisieren.
„Pläne sind nutzlos, aber Planung ist unerlässlich" (Dwight D. Eisenhower)
Als Entscheidungsgrundlage, ob und wie diese Automatisierung umsetzbar ist, muss der Business Case zunächst möglichst präzise formuliert werden. Als Erstes sollte das Ziel bzw. der Sollzustand festgelegt werden. In unserem Fall ist dies die „Automatisierung des Prozesses zum Finden passender Schulungen und Referenten gemäß unserer Kundenanfragen“. Aus der Analyse des Ist-Zustandes sind der aktuelle Aufwand für den Geschäftsprozess und die Übersicht über die verfügbaren Daten besonders wichtig.
Für die Beurteilung des Business Cases müssen dann die verschiedenen Konzepte zum Erreichen des Sollzustands ermittelt und verglichen werden. Dazu gehören auch regulatorische, z. B. datenschutzrechtliche, Anforderungen, die Anforderungen an Daten und Benutzereingaben sowie die zu erwartenden Entwicklungs- und Betriebskosten.
Für den vorliegenden Fall haben sich zwei mögliche Konzepte ergeben. Das erste basiert auf der Nutzung eines großen Sprachmodells (Large Language Model – LLM), um die als E-Mail eingehenden Kundenanfragen direkt zu verarbeiten. Die Anzahl der vorliegenden Kundenanfragen ist groß genug, um eine große Arbeitslast zu erzeugen, jedoch ist der Bestand an früheren Anfragen nicht annotiert. D. h., die für das Tuning eines LLMs notwendigen, richtigen Antworten sind im Datensatz nicht enthalten. Es ist zu erwarten, dass die Erstellung der Trainingsdaten aufwändiger wäre als der zu automatisierende Prozess selbst. Berücksichtigt man dazu noch die Entwicklungsarbeit, ist das Ziel den Aufwand zu reduzieren, nicht erreichbar. Daneben bestehen bei der Verwendung von vielen öffentlichen LLM-APIs Datenschutzfragen, da die Datenverarbeitung oft außerhalb der EU stattfindet.
Das zweite Lösungskonzept besteht darin, die Anfragen von den Kundenbetreuer:innen im Vertrieb in eine einheitliche Maske eingeben zu lassen, um dann die Suche nach Seminaren, Referent:innen und deren verfügbaren Terminen mittels künstlicher Intelligenz zu unterstützen. Zusätzliche Daten, über die im manuellen Prozess bereits verarbeiteten hinaus, sind nicht erforderlich. Die Datenverarbeitung kann auf Systemen der ORDIX AG intern erfolgen. Dafür erhöht sich der Arbeitsaufwand der Kundenbetreuer:innen pro Anfrage um einige Minuten. Der weitaus größte Aufwand entsteht jedoch durch die notwendige eigene Softwareentwicklung. Neben der reinen Ersparnis an Arbeitsstunden spielen auch schwieriger zu messende Vorteile eine Rolle: Durch die Automatisierung der Suche nach Referent:innen Terminen entfallen mehrere Runden an E-Mail-Kommunikation zwischen Planungs-Team, Teamleiter:innen und Referent:innen. Dadurch verkürzt sich die Reaktionszeit gegenüber dem Kunden deutlich. Die Führungskräfte im A-Team können die gewonnene Zeit für produktivere Tätigkeiten einsetzen und die Referenten und deren direkte Vorgesetzte werden mit weniger Anfragen und Unterbrechungen belastet. Schließlich spielen, wie bei jedem Business Case, auch strategische Überlegungen eine Rolle. Das KI- und Data-Science-Team kann durch die Erstellung des Tools zur Automatisierung seine eigenen Fähigkeiten demonstrieren und weiterentwickeln. Im Gegensatz zu einer Commodity-Lösung kann eine selbst entwickelte Software perfekt auf den eigenen Geschäftsprozess ausgerichtet werden. Letztlich bedeutet eine Eigenentwicklung zusätzlich, dass das System von der Verfügbarkeit externer (Cloud-) Dienste, die von den Anbietern öfters mit kurzer Vorankündigung eingestellt oder stark verändert werden, unabhängig ist.
„Heute kennt man von allem den Preis, von nichts den Wert." (Oscar Wilde)
Für den Kauf eines Tools müsste die Berechnung der Wirtschaftlichkeit in Geld erfolgen. Bei einer Eigenentwicklung kann vereinfacht in Arbeitszeit gerechnet werden. Dafür nehmen wir an, dass die Kosten pro Arbeitsstunde pro Mitarbeiter:in nicht stark voneinander abweichen.
Konkret wurde geschätzt, dass pro Jahr eine Woche an Arbeitszeit (entspricht 40 Stunden) durch den Einsatz des vorgesehenen Tools eingespart werden kann. Dabei liegt die erwartete Arbeitsersparnis in 90 % der Fälle bei etwa 5 Minuten, während in den ca. 10 % der Kundenanfragen, die schwieriger zu beantworten sind, 30 Minuten an gesparter Arbeitszeit pro Fall erwartet werden. Zusätzlich besteht die Möglichkeit, jährlich bis zu 2 verpasste Gelegenheiten zum Verkauf eines Seminars, durch schnellere Reaktionszeiten zu vermeiden. Diesen wird ein Gegenwert von einer weiteren Woche an Arbeitszeit zugerechnet.
Der Ersparnis gegenüber steht ein erwarteter Entwicklungsaufwand von 3 Personen-Monaten (PM), bzw. 12 Arbeitswochen. Damit ergäbe sich eine Amortisationszeit von ca. 6 Jahren für den Entwicklungsaufwand. Aus diesen rein finanziellen Erwägungen wäre eine Umsetzung kaum zu rechtfertigen.
An dieser Stelle kommen jedoch weitere strategische Überlegungen zum Tragen. Schulungen machen nur einen kleinen Teilaspekt des Angebots bei ORDIX aus. Der Aufwand für die Bearbeitung von Kundenanfragen nach weiteren Dienstleistungen wird auf über 100 Personentage jährlich geschätzt. Das Einsparpotenzial durch die Verwendung eines ähnlichen Tools wird auf 90 % geschätzt. Die Entwicklung des KI-Tools zur Unterstützung der Planung von Seminaren ist in diesem größeren Zusammenhang also lediglich der erste Schritt. Getreu dem Prinzip „start simple“, wird zuerst ein eng umrissener Teilaspekt des deutlich größeren und komplexeren Gesamtproblems gelöst. Dabei wird die Grundlage für den inkrementellen Ausbau des Tools zur Unterstützung aller Aufgaben der Ressourcenplanung gelegt.
Schon unter der Annahme, dass im nächsten Schritt mit einem Aufwand von 1,5 Personen-Monaten nur 1/3 des geschätzten Sparpotenzials umsetzen lässt, ändert sich die Bewertung dramatisch. Nun werden mit 4,5 Personen-Monaten Aufwand 2 PM pro Jahr eingespart, die Amortisationszeit verkürzt sich auf 2 Jahre und 3 Monate. In fast allen Unternehmen wird eine solche Investition als lohnend eingestuft.
Minimal, aber wertvoll – unser MVP
Das entwickelte Tool besteht aus einem Backend und einem Webapp-Frontend, die durch eine REST API verbunden sind. Das Backend besteht aus drei verbundenen Modulen: einem Seminarfinder, einem Referent:innen-Finder und einem Terminfinder. Während die zwei letzteren Module mit klassischen Datenbankabfragen arbeiten, basiert der Seminarfinder auf künstlicher Intelligenz.
Eine Kundenanfrage besteht, neben dem gewünschten Termin, im Wesentlichen aus einer Überschrift, z. B. „Oracle SQL Grundlagen“ und optional einer Aufzählung gewünschter Inhalte. Um passende Seminarangebote zu finden, werden der Titel und die Inhaltswünsche mittels eines Sentence-Transformer-Modells in semantische Embedding-Vektoren transformiert. Diese hochdimensionalen Vektoren werden mittels Cosinus-Ähnlichkeit mit den gespeicherten Embedding-Vektoren der Seminartitel und Inhaltsangaben aus dem ORDIX-Katalog verglichen. Die Seminare, deren semantische Übereinstimmung einen eingestellten Schwellenwert überschreitet, werden als Vorschläge weiterverarbeitet.
Für jeden Seminarvorschlag wird eine Liste möglicher Referent:innen, die das Seminar bereits gehalten haben, erstellt. Die Verfügbarkeit jedes vorgeschlagenen Referenten oder jeder vorgeschlagenen Referentin wird mit den vom Kunden angefragten Zeiträumen abgeglichen. Schließlich werden die Seminarvorschläge mit potenziellen Referenten und deren Verfügbarkeit angereichert und an das Frontend zurückgegeben.
Für die Zukunft ist geplant, das Tool um eine Berücksichtigung des Reiseaufwands je Dozent:in zu erweitern und es auf andere Typen von Kundenanfragen auszuweiten.
Fazit
Unser Beispiel zeigt, wie wichtig es ist, einen Business Case nicht zu kleinteilig zu betrachten. Üblicherweise sind die ersten, kleinen Produkte einer Entwicklung im Vergleich zum Nutzen sehr aufwändig. Gleichzeitig lässt sich nach der Fertigstellung eines Minimum Viable Products (MVP) oft mit geringem Aufwand ein ganz erheblicher Mehrwert erzielen. Deswegen wäre es falsch, die Betrachtung der Wirtschaftlichkeit nur auf das MVP zu beschränken. Daneben wurde deutlich, dass man nicht nur auf die Standardfälle achten darf. Gerade bei Routineaufgaben können Einsparungen häufig nur durch sehr hohe Stückzahlen erzielt werden. Diese liegen in unserem Anwendungsfall allerdings nicht vor. Der Fokus liegt daher auf den selteneren, aber aufwändigeren Ausnahmefällen. Sie machen das neue Tool erst lohnend.
Neben den relativ einfach in Zahlen abzuschätzenden Aspekten, wie Zeitersparnis im Geschäftsprozess und Entwicklungsaufwand, müssen immer auch weitere, strategische Überlegungen berücksichtigt werden. Hier muss vermieden werden, bei ansonsten unwirtschaftlichen Projekten einfach zu beschließen „wird aus strategischen Gründen trotzdem umgesetzt“. Stattdessen muss von den strategischen Entscheidern festgelegt werden, welches Ausmaß an Investition der jeweilige strategische Vorteil wert ist.
Letztendlich muss über einen Business Case immer auf Basis von Schätzungen entschieden werden. Entscheidend ist, diese Schätzungen diszipliniert nach bestem Wissen und Gewissen zu tätigen. Ebenso diszipliniert müssen die tatsächlichen Aufwände und Ersparnisse erfasst und retrospektiv mit der Schätzung verglichen werden. Auf diese Weise ist eine kontinuierliche Verbesserung der Schätzungen und damit der Entscheidungsgrundlagen für künftige Business Cases möglich.
Seminarempfehlung
MACHINE LEARNING BASICS BB-AI-01
ZUM SEMINAR