Künstliche Intelligenz (KI) und Machine Learning (ML) sind gefühlt allgegenwärtig und werden in den nächsten Jahren immer wichtiger werden. Typische Anwendungsbeispiele für ML sind personalisierte Vorschläge von Streaming-Diensten, Assistenzsysteme im Auto und Sprachassistenten. Viele Menschen nutzen KI-Systeme bewusst oder auch unbewusst, aber die wenigsten wissen, was im Hintergrund passiert. Dieser Artikel zeigt mit einfachen Beispielen, wie Machine Learning funktioniert. Dazu wird in leicht nachvollziehbaren Schritten ein einfaches ML-Modell mit Python und der beliebten Bibliothek scikit-learn erstellt und angewendet. Dabei werden ganz nebenbei einige wichtige ML-Begriffe eingeführt und erklärt.

Viele der folgenden Aussagen sind verallgemeinert und vereinfacht. Weiterhin gibt es zum vorgestellten Ablauf oft Alternativen, Ausnahmen und Abweichungen. Um den Artikel nicht unnötig aufzublähen und den Lesefluss nicht kontinuierlich zu stören, wird das ganz bewusst in Kauf genommen.

Der gezeigte Python-Code wurde genutzt, um die Ausgaben und Diagramme zu erstellen. Für das Verständnis des Artikels ist der Code nicht notwendig und er kann beim Lesen übersprungen werden.

Daten analysieren

Beim Maschinellen Lernen werden existierende Daten verwendet, um damit einen Algorithmus, hier wird auch von einem Modell gesprochen, zu trainieren. Dieses Modell wird dann verwendet, um mit neuen Daten eine Vorhersage zu treffen.

Abstrakt formuliert wird beim Trainieren eines Modells eine mathematische Funktion gesucht, die anhand existierender Daten in der Lage ist, das erwartete Ergebnis möglichst genau vorherzusagen. Solch eine Funktion (bzw. Modell) sollte dann auch mit neuen, bisher unbekannten Daten eine korrekte Ausgabe (Vorhersage) liefern.

In der Praxis stellt sich die Beschaffung geeigneter Daten oft als schwierig und zeitaufwändig heraus. Für diesen Artikel werden Beispieldaten, die in scikit-learn enthalten sind, verwendet. Diese Daten werden auch Dataset genannt.

Iris Flower Dataset

Am Anfang steht die Analyse der existierenden Daten. In diesem Artikel wird das Iris Flower (Schwertlilie) Dataset verwendet.
Dieses Dataset enthält die folgenden Daten:

• 50 Samples (Datensätze) von drei unterschiedlichen Arten der Schwertlilie:
  • setosa (Borsten-Schwertlilie)
  • versicolor (Verschiedenfarbige Schwertlilie)
  • virginica (Virginische Schwertlilie)
• 150 Samples (Datensätze) insgesamt
• Die Datensätze haben diese Attribute:
  • sepal length (Länge des Kelchblattes)
  • sepal width (Breite des Kelchblattes)
  • petal length (Länge des Kronblattes)
  • petal width (Breite des Kronblattes)
  • class (setosa, versicolor oder virginica)

Die folgende Abbildung zeigt eine Schwertlilie.

Quelle: https://pixabay.com/photos/iris-flower-flora-blue-blossom-2339883/

Daten laden

Zuerst werden die Daten in den Hauptspeicher geladen. Im Beispiel wird die Funktion sklearn.datasets.load_iris verwendet. Anschließend wird die Beschreibung des Datasets ausgegeben.

Das Paket scikit-learn.datasets enthält noch weitere Funktionen zum Laden und Generieren von unterschiedlichen Datasets. Diese werden in der Dokumentation ausführlich beschrieben.
https://scikit-learn.org/stable/datasets.html

.. _iris_dataset:

Iris plants dataset
--------------------

**Data Set Characteristics:**

:Number of Instances: 150 (50 in each of three classes)
:Number of Attributes: 4 numeric, predictive attributes and the class
:Attribute Information:
- sepal length in cm
- sepal width in cm
- petal length in cm
- petal width in cm
- class:
- Iris-Setosa
- Iris-Versicolour
- Iris-Virginica

:Summary Statistics:

============== ==== ==== ======= ===== ====================
Min Max Mean SD Class Correlation
============== ==== ==== ======= ===== ====================
sepal length: 4.3 7.9 5.84 0.83 0.7826
sepal width: 2.0 4.4 3.05 0.43 -0.4194
petal length: 1.0 6.9 3.76 1.76 0.9490 (high!)
petal width: 0.1 2.5 1.20 0.76 0.9565 (high!)
============== ==== ==== ======= ===== ====================

:Missing Attribute Values: None
:Class Distribution: 33.3% for each of 3 classes.
:Creator: R.A. Fisher
:Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
:Date: July, 1988

The famous Iris database, first used by Sir R.A. Fisher. The dataset is taken
from Fisher's paper. Note that it's the same as in R, but not as in the UCI
Machine Learning Repository, which has two wrong data points.

This is perhaps the best known database to be found in the
pattern recognition literature. Fisher's paper is a classic in the field and
is referenced frequently to this day. (See Duda & Hart, for example.) The
data set contains 3 classes of 50 instances each, where each class refers to a
type of iris plant. One class is linearly separable from the other 2; the
latter are NOT linearly separable from each other.

.. topic:: References

- Fisher, R.A. "The use of multiple measurements in taxonomic problems"
Annual Eugenics, 7, Part II, 179-188 (1936); also in "Contributions to
Mathematical Statistics" (John Wiley, NY, 1950).
- Duda, R.O., & Hart, P.E. (1973) Pattern Classification and Scene Analysis.
(Q327.D83) John Wiley & Sons. ISBN 0-471-22361-1. See page 218.
- Dasarathy, B.V. (1980) "Nosing Around the Neighborhood: A New System
Structure and Classification Rule for Recognition in Partially Exposed
Environments". IEEE Transactions on Pattern Analysis and Machine
Intelligence, Vol. PAMI-2, No. 1, 67-71.
- Gates, G.W. (1972) "The Reduced Nearest Neighbor Rule". IEEE Transactions
on Information Theory, May 1972, 431-433.
- See also: 1988 MLC Proceedings, 54-64. Cheeseman et al"s AUTOCLASS II
conceptual clustering system finds 3 classes in the data.
- Many, many more ...

Features & Target

Im Iris Dataset wird intern zwischen Feature und Target unterschieden.

Ein Feature ist ein Merkmal bzw. ein Attribut eines Datensatzes. Features sind üblicherweise Eingabedaten anhand derer ein Ergebnis vorhergesagt werden soll. Die einzelnen Datensätze werden mathematisch als Vektor betrachtet und oft als Feature Vector bezeichnet.

Als Target wird das erwartete Ergebnis bezeichnet. Im Iris Dataset ist die Art (class) der Schwertlilie als Target enthalten. Eine andere Bezeichnung für Target ist auch Label.

Mit dem folgenden Code werden die Daten des Iris Datasets ausgegeben.

Feature Names:
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
Feature Data:
[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
...

[5.9 3. 5.1 1.8]]

Target Names:
['setosa' 'versicolor' 'virginica']
Target Values:
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2
2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]

Pandas DataFrame

Für die weitere Analyse wird mit den Daten ein Pandas DataFrame erzeugt.

Pandas ist eine Bibliothek, die Datenstrukturen und Analysefunktionen für Python bereitstellt. Etwas vereinfacht ist ein Pandas DataFrame eine Tabelle mit Spalten und Datentypen. Über leistungsfähige Funktionen können die Daten in einem DataFrame sehr leicht analysiert und modifiziert werden. Man kann sich ein Pandas DataFrame auch als Excel-Tabelle vorstellen, die mit Python statt mit Maus und Tastatur bedient wird.

Eine ausführliche Beschreibung gibt es auf der Homepage des Projektes:
https://pandas.pydata.org/pandas-docs/stable/index.html

Im erzeugten DataFrame wird nicht mehr explizit zwischen Feature und Target unterschieden. Die Daten mit der Art werden in die zusätzliche Spalte class eingefügt. Der Grund ist einfach: Für die folgenden Beispiele soll nicht die Art, sondern ein anderes Attribut vorhergesagt werden.

	sepal length (cm)	sepal width (cm)	petal length (cm)	petal width (cm)	class
0	5.1	3.5	1.4	0.2	0
1	4.9	3.0	1.4	0.2	0
2	4.7	3.2	1.3	0.2	0
3	4.6	3.1	1.5	0.2	0
4	5.0	3.6	1.4	0.2	0
...	...	...	...	...	...
145	6.7	3.0	5.2	2.3	2
146	6.3	2.5	5.0	1.9	2
147	6.5	3.0	5.2	2.0	2
148	6.2	3.4	5.4	2.3	2
149	5.9	3.0	5.1	1.8	2

150 rows × 5 columns

DataFrame Info

Mit der Funktion info() werden allgemeine Informationen ausgegeben. Neben dem Schema (Spalten und Datentypen) sind das zum Beispiel die Anzahl der Datensätze und der belegte Speicherplatz.

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 150 entries, 0 to 149
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 sepal length (cm) 150 non-null float64
1 sepal width (cm) 150 non-null float64
2 petal length (cm) 150 non-null float64
3 petal width (cm) 150 non-null float64
4 class 150 non-null int64
dtypes: float64(4), int64(1)
memory usage: 6.0 KB

DataFrame Describe

Die Funktion describe() liefert einige wichtige statistische Kennzahlen zu den einzelnen Spalten im DataFrame.

	sepal length (cm)	sepal width (cm)	petal length (cm)	petal width (cm)	class
count	150.000000	150.000000	150.000000	150.000000	150.000000
mean	5.843333	3.057333	3.758000	1.199333	1.000000
std	0.828066	0.435866	1.765298	0.762238	0.819232
min	4.300000	2.000000	1.000000	0.100000	0.000000
25%	5.100000	2.800000	1.600000	0.300000	0.000000
50%	5.800000	3.000000	4.350000	1.300000	1.000000
75%	6.400000	3.300000	5.100000	1.800000	2.000000
max	7.900000	4.400000	6.900000	2.500000	2.000000

Scatterplot Matrix

Als nächstes wird eine Scatterplot-Matrix erstellt. Dazu werden in zweidimensionalen Diagrammen immer zwei Attribute aus den Daten auf der x- und y-Achse aufgetragen. Im Fall der Iris-Daten wird das für die verschiedenen Längenangaben gemacht. Die Art (class) wird als Farbe der Punkte dargestellt.

Eine Scatterplot-Matrix ist gut geeignet, um Zusammenhänge zwischen den verschiedenen Attributen visuell darzustellen. Das funktioniert allerdings nur bei einer noch überschaubaren Anzahl an Attributen (Features).

Für die Plots wird die Bibliothek matplotlib verwendet. Eine ausführliche Dokumentation und viele Tutorials gibt es auf der Homepage des Projektes:
https://matplotlib.org/

num_features: 4
num_vectors : 150
num_classes : 3
class_names : ['setosa' 'versicolor' 'virginica']

Analyse

Die verschiedenen Plots zeigen deutlich, dass es einen Zusammenhang (Korrelation) zwischen den verschiedenen Werten der Schwertlilie und der Art gibt.

Für das erste Modell wird nicht die Art der Schwertlilie bestimmt. Stattdessen soll anhand der Länge des Kronblattes (petal length) die Länge des Kelchblattes (sepal length) vorhergesagt werden.

Zuerst wird das entsprechende Diagramm nochmals etwas größer ausgegeben.

Einfaches Modell erstellen

Im nächsten Schritt wird mit den Daten ein Modell erstellt und trainiert. Für dieses Beispiel wird als Algorithmus die Lineare Regression verwendet. Wie bereits erwähnt, soll aus dem Wert des Features petal length der Wert für sepal length vorhergesagt werden. Bei der Linearen Regression wird eine lineare Funktion verwendet, mit der für einen beliebigen Feature-Vektor x der Wert y vorhergesagt (predict) wird.

f(x) = wx + b

In diesem Bespiel wird bewusst nur ein Feature verwendet. Die Funktion liefert als Ergebnis eine einfache Gerade.

w ist die Steigung

b ist der Schnittpunkt mit der y-Achse

Um eine erste Vorhersage zu treffen, können Werte für w und b in diesem Fall visuell anhand des Diagramms ermittelt bzw. geschätzt werden. Für den ersten Versuch werden die folgenden Werte verwendet:
 
w = 0.5
b = 4.5
f(x) = 0.5x + 4.5

Mit diesen Werten wird ein einfaches Modell (eine Funktion) erstellt. Das Ergebnis dieses Modells wird dann im Diagramm eingezeichnet.

Machine Learning

Für den Anfang war das Schätzen der Werte für w und b nicht schlecht. Mit etwas Trial and Error wäre es für diesen einfachen Fall möglich, die optimalen Parameter zu finden. In der Realität ist das üblicherweise nicht so einfach, da die Zusammenhänge meist deutlich komplexer sind.

Statt die Werte durch manuelles Ausprobieren zu ermitteln, können die optimalen Parameter mit mathematischen Verfahren automatisch ermittelt werden.

Dazu wird eine sogenannte Loss Function ausgewählt. Mit dieser wird der Fehler der Vorhersage berechnet. Ziel ist es, dass der Fehler möglichst gering ist und die Gerade die Daten somit möglichst gut abbildet. Die im Folgenden verwendete Funktion wird Squared Error Loss genannt.

¹/_N ∑^N_i=1(f(x_i)−yi)²

Beim Training des Modells wird für alle Trainingsdaten (x₁,x₂,...,x_N) die Differenz zwischen dem vorhergesagten Wert der Funktion f(x) und dem bekannten Wert (Label) (y₁,y₂,...,y_N) aus den Trainingsdaten ermittelt. Diese Differenz entspricht dem Abstand zwischen der Geraden (Prediction) und dem erwarteten Wert (Label).

Die Quadrate dieser Differenzen werden aufsummiert und durch die Anzahl der Datensätze in den Trainingsdaten geteilt. Die Parameter w und b werden beim Training so lange variiert, bis die Loss Function den minimalen Wert liefert.

Die verschiedenen Verfahren und Funktionen zum Trainieren eines Modells müssen nicht selbst programmiert werden. Stattdessen können fertige Bibliotheken, wie zum Beispiel scikit-learn, eingesetzt werden.

Trainings- und Testdaten

Um ein Modell zu trainieren, werden die vorhandenen Daten zuerst in Trainingsdaten und Testdaten aufgeteilt.

Diese Trennung ist wichtig, denn das Modell soll später mit unbekannten/neuen Daten gute Ergebnisse liefern. Wenn das Modell mit allen bekannten Daten trainiert wird, dann gibt es im Vorfeld keine Möglichkeit zu prüfen, wie gut die Vorhersagen für neue Daten sein werden. Die Trainingsdaten werden zum Trainieren des Modells verwendet. Anhand dieser Daten werden die optimalen Parameter ermittelt. Die Testdaten sind neue/unbekannte Daten und werden verwendet, um die Genauigkeit bzw. die Qualität des fertig trainierten Modells zu berechnen.

Im folgenden Beispiel wird diese Trennung mit der Funktion model_selection.train_test_split() durchgeführt. Der weitere Code wird benötigt, um die Daten in das richtige Format für scikit-learn zu bringen.

Trainieren des Modells

Als nächstes wird ein LinearRegression-Modell erstellt und trainiert. Die Funktion fit() erwartet als Eingabe die Features (X1_train) und das erwartete Ergebnis bzw. die Labels (Y1_train).

LinearRegression()

Modell validieren

Als letzter Schritt wird noch die Qualität des Modells überprüft. In diesem Fall wird dazu mit den Testdaten die Accuracy (Genauigkeit) berechnet. Die Genauigkeit ist der Prozentsatz der Vorhersagen, die richtig sind.

Accuracy: 76.74% (1 Feature, LinearRegression)

Das Modell kann somit in 76.74% der Fälle das richtige Egebnis vorhersagen. Umgekehrt sind aber 23,26% der Vorhersagen falsch.

Vorhersage plotten

Das Ergebnis der Vorhersage kann auch als Diagramm dargestellt werden. Die durchgezogene Linie ist die Vorhersage des Modells mit den geschätzten Parametern. Die gestrichelte Linie ist die Vorhersage des LinearRegression-Modells.

Wie man sieht, ist das ML-Modell besser als das manuell erstellte Modell.

Ist das alles?

Nein, das war erst der Anfang.

Mehr Features

In der Realität werden üblicherweise mehr Features (Attribute) zum Trainieren verwendet. Ein einzelner Datensatz mit mehreren Featuren wird als Vektor betrachtet und die Menge der Datensätze als Matrix. Auch das Ergebnis (Vorhersage) des Modells kann aus mehreren Attributen und somit aus einem Vektor bestehen.

Die Modelle (Funktionen) werden dann mit den Daten in einer Feature-Matrix X trainiert. Für zwei Features kann das in einem dreidimensionalen Diagramm visualisiert werden. Bei mehr als drei Features ist das dann nicht mehr möglich.

Das folgende Beispiel zeigt ein Modell, bei dem die beiden Features petal length (Länge des Kronblattes) und petal width (Breite des Kronblattes) für die Vorhersage der sepal length (Länge des Kelchblattes) verwendet werden.

Accuracy: 75.54% (2 Features, LinearRegression)

Die Genauigkeit (Accuracy) ist in diesem Fall schlechter als beim ersten Beispiel, in dem nur ein Feature verwendet wurde. Solche Effekte sind nicht unüblich. Die optimalen Features zu ermitteln ist eine Kunst. Die Aufbereitung der Rohdaten und die Auswahl der Features sind wichtige Aspekte des sogenannten Feature Engineerings. In der Praxis gehört das Feature Engineering oft zu den aufwändigsten Tätigkeiten beim Trainieren eines Modells.

Im folgenden 3D-Diagramm werden die verwendeten Daten wieder als Punkte angezeigt und die Vorhersage des Modells wird als zusätzliche Ebene dargestellt.

Linear Regression Variationen

Es gibt Variationen für die Lineare Regression. Zum Beispiel können Polynome genutzt werden, um nicht-lineare Verläufe vorherzusagen.

Im folgenden Beispiel wird ein Polynom 6. Grades verwendet, um ein LinearRegression-Modell zu trainieren.

Accuracy: 80.66% (1 feature, polynomial model, degree 6)

Die Genauigkeit (Accuracy) dieses Modells ist über 80% und damit ist es besser als die beiden anderen Modelle. Anhand des Diagramms ist hier gut zu erkennen, dass die Kurve bei sehr kleinen und sehr großen Werten für das Feature petal length sehr stark von den bekannten Werten für das Label sepal length abweicht.

Das Modell ist sehr gut für die bekannten Daten geeignet. Neue, bisher unbekannte Daten können aber zu einem sehr großen Fehler bei der Vorhersage führen. Dieses Verhalten wird auch Overfitting genannt.

Scikit-Learn und andere Bibliotheken

Für Machine Learning gibt es viele unterschiedliche Anwendungsfälle und viele unterschiedliche Algorithmen. Die folgende Abbildung gibt einen Überblick über die verschiedenen scikit-learn Algorithmen.

Quelle: https://scikit-learn.org/stable/tutorial/machine_learning_map/index.html

Neben scikit-learn gibt es noch viele weitere ML-Bibliotheken. Hier eine unvollständige Auflistung:

• TensorFlow
• XGBoost
• Spark MLlib
• PyTorch

Arten von Problemen

Wie in der Abbildung dargestellt, wird beim Machine Learning zwischen mehreren unterschiedlichen Problemstellungen unterschieden. Diese werden hier kurz vorgestellt.

Regression
Hier geht es um die Vorhersage von beliebigen reellen Werten. Die hier verwendeten Modelle zur Vorhersage der Länge des Kelchblattes (sepal length) sind Beispiele für Regressionsmodelle.

Klassifikation
Bei der Klassifikation geht es um die Vorhersage der Zugehörigkeit von unbekannten Daten zu bereits festgelegten Klassen. Die Vorhersage der Art (class) einer Schwertlilie ist ein typisches Klassifikationsproblem.

Clustering
Clustering-Algorithmen teilen die Daten in Gruppen (Cluster) ein. Im Gegensatz zur Klassifikation sind hier die Gruppen meistens nicht bekannt. Für das Iris Dataset kann ein Clustering-Modell anhand der Maße der Blätter die drei verschiedenen Arten erkennen und die Datensätze den einzelnen Gruppen zuordnen.

Dimensionsreduktion
Bei der Dimensions-Reduktion geht es darum, Zusammenhänge und Korrelationen der Features eines Datasets automatisch zu erkennen und die Anzahl der Features (Dimensionen) so zu reduzieren, dass die relevanten Informationen erhalten bleiben. Zum Beispiel könnte (bzw. sollte) ein solches Modell erkennen, dass von den beiden Features petal length (Länge des Kronblattes) und petal width (Breite des Kronblattes) nur eins benötigt wird.

Arten von Machine Learning

Beim Machine Learning wird grundsätzlich zwischen drei Arten unterschieden. Diese werden im Folgenden kurz erklärt.

Supervised Learning
Beim Supervised Learning werden zum Trainieren des Modells Eingabedaten (Features) und bekannte Ergebnisse (Label) verwendet. Die gezeigten Regressions-Modelle sind Beispiele für das Supervised Learning.

Unsupervised Learning
Beim Unsupervised Learning sind für die Trainingsdaten die erwarteten Ergebnisse (Label) nicht bekannt oder werden zum Trainieren nicht benötigt. Das Modell versucht, in den Trainingsdaten selbständig Muster zu erkennen. Unsupervised Learning wird oft für das Clustering und die Dimensionsreduktion eingesetzt.

Reinforcement Learning
Im Gegensatz zum Supervised und Unsupervised Learning wird das Modell beim Reinforcement Learning nicht mit einem umfangreichen Datensatz trainiert. Stattdessen lernt das Modell von der Interaktion mit seinem Umfeld. Über Feedback erfährt es, ob seine Entscheidungen gut oder schlecht waren und es passt sein Verhalten entsprechend an. Ein Beispiel dafür ist ein System, dass die Regeln für das Spiel Tic-Tac-Toe kennt und lernt, wie es spielen muss, damit es nicht verliert. Feedback ist in diesem Fall das Ergebnis des Spiels (gewonnen, verloren oder unentschieden).

Ist das jetzt alles?

Nein, es gibt noch viel mehr!

In diesem Artikel ging es darum, ein grobes Verständnis dafür zu schaffen, was Machine Learning ist und wie es funktioniert. Im Kern ist Machine Learning eine Kombination aus Mathematik und Informatik. Durch frei verfügbare Bibliotheken, wie zum Beispiel scikit-learn, wird der Einstieg deutlich vereinfacht. Insbesondere müssen die verschiedenen Algorithmen nicht selber implementiert werden.

Allerdings ist es auch sehr leicht, hier die Orientierung zu verlieren. Für einen guten Start empfehle ich unser Seminar "Einführung in Maschinelles Lernen". An drei Tagen werden hier die wichtigsten theoretischen Grundlagen vermittelt und in vielen praktischen Übungen direkt angewendet.

Für eine unabhängige Beratung zu Machine Learning und zu vielen anderen Themen, wie zum Beispiel Big Data, Cloud oder (NoSQL) Datenbanken, stehen Ihnen unsere erfahrenen Berater*innen gerne zur Verfügung.