Überwachtes Lernen kann bei Data Mining in zwei Arten von Problemen unterteilt werden: Klassifizierung und Regression.

• Klassifizierung verwendet einen Algorithmus, um Testdaten präzise bestimmten Kategorien zuzuweisen. Sie erkennt bestimmte Entitäten innerhalb des Datensatzes und versucht, einige Schlussfolgerungen darüber zu ziehen, wie diese Entitäten gekennzeichnet oder definiert werden sollen. Übliche Klassifikationsalgorithmen sind lineare Klassifikatoren, Support Vector Machines (SVM), Entscheidungsbäume, K-Nearest Neighbor und Random Forest, die im Folgenden näher beschrieben werden.

• Regression dient dazu, die Beziehung zwischen abhängigen und unabhängigen Variablen zu verstehen. Dies wird häufig verwendet, um Prognosen zu erstellen, beispielsweise den Umsatz eines bestimmten Unternehmens. Lineare Regression, logistische Regression und polynomiale Regression sind beliebte Regressionsalgorithmen.

In überwachten maschinellen Lernprozessen werden verschiedene Algorithmen und Berechnungstechniken verwendet, die häufig mithilfe von Programmen wie Python berechnet werden. Überwachte Lernalgorithmen:

• AdaBoost oder Gradient Boosting: Diese Technik wird auch adaptives Boosting⁷ genannt und steigert einen leistungsschwachen Regressionsalgorithmus, indem sie ihn mit schwächeren kombiniert, um einen stärkeren Algorithmus zu erstellen, der zu weniger Fehlern führt. Boosting kombiniert die Prognoseleistung mehrerer Basisschätzer.

• Künstliche neuronale Netze: Auch bekannt als ANNs, neuronale Netze oder simulierte neuronale Netze (SNNs), sind eine Teilmenge maschineller Lerntechniken und der Kern von Deep-Learning-Algorithmen. Der Lernalgorithmus erkennt Muster in den Eingabedaten mit Hilfe von Bausteinen, den so genannten Neuronen, die den Neuronen im menschlichen Gehirn nachempfunden sind und mit der Zeit trainiert und verändert werden. (Mehr unter „neuronale Netzwerke“.)

• Entscheidungsbaumalgorithmen: Entscheidungsbäume werden sowohl zur Vorhersage numerischer Werte (Regressionsprobleme) als auch zur Klassifizierung von Daten in Kategorien verwendet und verwenden eine verzweigte Folge verknüpfter Entscheidungen, die mit einem Baumdiagramm dargestellt werden können. Einer der Vorteile von Entscheidungsbäumen ist, dass sie im Gegensatz zur Blackbox eines neuronalen Netzes leicht zu validieren und zu überprüfen sind.

• Verringerung der Dimensionalität: Wenn ein ausgewählter Datensatz eine hohe Anzahl von Merkmalen aufweist⁷ , weist er eine hohe Dimensionalität auf. Die Dimensionalitätsreduzierung verringert dann die Anzahl der Merkmale, so dass nur die aussagekräftigsten Erkenntnisse oder Informationen übrig bleiben. Ein Beispiel ist die Hauptkomponentenanalyse.

• K-Nearest Neighbor: Dieser nicht parametrische Algorithmus, auch KNN genannt, klassifiziert Datenpunkte basierend auf ihrer Nähe und Zuordnung zu anderen verfügbaren Daten. Es wird davon ausgegangen, dass ähnliche Datenpunkte nahe beieinander gefunden werden können. Daher wird versucht, den Abstand zwischen Datenpunkten zu berechnen, in der Regel durch die euklidische Entfernung, und dann wird eine Kategorie basierend auf der häufigsten Kategorie oder dem häufigsten Durchschnitt zugewiesen. 

• Lineare Regression: Die lineare Regression wird verwendet, um die Beziehung zwischen einer abhängigen Variablen und einer oder mehreren unabhängigen Variablen zu identifizieren, und wird normalerweise genutzt, um Vorhersagen über zukünftige Ergebnisse zu treffen. Wenn es nur eine unabhängige Variable und eine abhängige Variable gibt, wird sie als einfache lineare Regression bezeichnet.

• Logistische Regression: Während die lineare Regression eingesetzt wird, wenn abhängige Variablen kontinuierlich sind, wird die logistische Regression gewählt, wenn die abhängige Variable kategorisch ist, d. h. es gibt binäre Ausgaben, wie „wahr“ und „falsch“ oder „ja“ und „nein“. Beide Regressionsmodelle versuchen zwar, Beziehungen zwischen Dateneingaben zu verstehen, aber die logistische Regression wird hauptsächlich verwendet, um binäre Klassifizierungsprobleme wie Spam-Erkennung zu lösen.

• Neuronale Netze: Neuronale Netze werden in erster Linie für Deep-Learning-Algorithmen eingesetzt und verarbeiten die eingegebenen Trainingsdaten, indem sie die Vernetzung des menschlichen Gehirns durch Knotenschichten nachahmen. Jeder Knoten besteht aus Eingaben, Gewichtungen, einem Bias (Schwellenwert) und einer Ausgabe. Wenn dieser Ausgabewert einen bestimmten Schwellenwert überschreitet, wird der Knoten „ausgelöst“ oder aktiviert und Daten an die nächste Schicht im Netz übergeben. Neuronale Netze lernen aus Anpassungen basierend auf der Verlustfunktion durch den Prozess des Gradientenabstiegs. Wenn die Kostenfunktion bei oder nahe Null liegt, können Sie sich auf die Genauigkeit des Modells verlassen.

• Naïve Bayes: Dieser Ansatz setzt das Prinzip der konditionalen Unabhängigkeit der Klasse aus dem Bayes Theorem ein. Das bedeutet, dass das Vorhandensein eines Merkmals keinen Einfluss auf das Vorhandensein eines anderen Merkmals in Bezug auf die Wahrscheinlichkeit eines bestimmten Ergebnisses hat, und dass jeder Prädiktor die gleiche Wirkung auf das Ergebnis hat. Es gibt drei Arten von Naïve Bayes Klassifizierungen: Multinomial Naïve Bayes, Bernoulli Naïve Bayes und Gaussian Naïve Bayes. Diese Technik wird hauptsächlich in Textklassifizierungs-, Spam-Identifikations- und Empfehlungssystemen verwendet.

• Random Forests: In einem Random Forest prognostiziert der Algorithmus für maschinelles Lernen einen Wert oder eine Kategorie, indem die Ergebnisse aus einer Reihe von Entscheidungsbäumen kombiniert werden. Der „Forest“ bezieht sich auf nicht korrelierte Entscheidungsbäume, die zusammengesetzt sind, um Varianzen zu reduzieren und genauere Vorhersagen zu ermöglichen.

• Support Vector Machines (SVM): Dieser Algorithmus kann sowohl für die Datenklassifizierung als auch für die Regression verwendet werden, in der Regel jedoch für Klassifikationsprobleme, bei denen eine Hyperebene konstruiert wird, bei der der Abstand zwischen zwei Klassen von Datenpunkten maximal ist. Diese Hyperplane wird als Entscheidungsgrenze bezeichnet und trennt die Klassen von Datenpunkten (z. B. Orangen vs. Äpfel) auf beiden Seiten der Ebene.

Im Gegensatz zu überwachtem Lernen verwendet unüberwachtes Lernen nicht gekennzeichnete Daten. Aus diesen Daten erkennt der Algorithmus Muster, die bei der Lösung von Clustering- oder Zuordnungsproblemen helfen. Dies ist besonders nützlich, wenn Fachexperten sich über gemeinsame Eigenschaften innerhalb eines Datensatzes nicht sicher sind. Gemeinsame Clustering-Algorithmen sind hierarchische, K-Means-, Gauß'sche Mischungsmodelle und Dimensionalitätsreduzierungsmethoden wie PCA und t-SNE.

• Clustering: Diese Algorithmen können Muster in Daten identifizieren, damit sie gruppiert werden können. Algorithmen können Data Scientists helfen, indem sie Unterschiede zwischen Datenelementen identifizieren, die Menschen übersehen haben.

• Hierarchische Cluster-Bildung: Damit werden Daten in einen Baum von Clustern gruppiert⁸. Hierarchische Cluster-Bildung beginnt mit der Verarbeitung jedes Datenpunktes als separater Cluster. Anschließend werden die folgenden Schritte wiederholt ausgeführt: 1) Identifizieren der beiden Cluster, die am nächsten beieinander liegen können, und 2) Zusammenführen der beiden maximal vergleichbaren Cluster. Diese Schritte werden fortgesetzt, bis alle Cluster zusammengeführt sind.

• K-Means-Clustering: Dies identifiziert Gruppen innerhalb von Daten ohne die Bezeichnung⁹  in verschiedenen Clustern, indem Gruppen von Daten gefunden werden, die einander ähnlich sind. Der Name „K-Means“ stammt von den $k$-Schwerpunkten, die es zur Definition von Clustern verwendet. Ein Punkt wird einem bestimmten Cluster zugewiesen, wenn er näher am Schwerpunkt dieses Clusters liegt als an jedem anderen Schwerpunkt.

Halbüberwachte Lernalgorithmen

In diesem Fall findet das Lernen statt, wenn nur ein Teil der gegebenen Eingabedaten gekennzeichnet wurde – was dem Algorithmus einen gewissen „Vorsprung“ verschafft. Dieser Ansatz kann das Beste aus beiden Welten kombinieren¹⁰ – verbesserte Genauigkeit im Zusammenhang mit überwachtem maschinellem Lernen und die Möglichkeit, kosteneffiziente unmarkierte Daten zu nutzen, wie im Fall des unüberwachten maschinellen Lernens.

Verstärkungsalgorithmen

In diesem Fall werden die Algorithmen so trainiert, wie Menschen lernen – durch Belohnungen und Strafen –, die von einem Reinforcement-Learning-Agenten¹¹ gemessen und verfolgt werden, der ein allgemeines Verständnis für die Wahrscheinlichkeit hat, den Punktestand erfolgreich nach oben oder nach unten zu verschieben. Durch Versuch und Irrtum lernt der Agent, Maßnahmen zu ergreifen, die im Laufe der Zeit zu den günstigsten Ergebnissen führen. Reinforcement Learning wird häufig in den Bereichen Ressourcenmanagement, Robotertechnik und Videospiele eingesetzt¹² .