Klassifikationsmodelle testen
Ein Klassifikationsmodell ordnet jeder Entität das Ergebnis zu, von dem es ausgeht, dass es am geeignetsten für die Entität ist. Das Ergebnis ist der vorhergesagte Wert, der vom Klassifikationsmodell ermittelt wird.
Der vorhergesagte Wert für das Ergebnis kann vom tatsächlichen Wert des Ergebnisses abweichen, da ein Klassifikationsmodell fast nie perfekt ist. Die Hauptursache hierfür liegt darin, dass die Realität viel komplexer ist als ihre Darstellung in einem Mining-Modell.
Eine bessere Einschätzung der Modellqualität erhalten Sie, wenn Sie das Modell auf Daten anwenden, die bereits das Ergebnis enthalten, aber die sich von den Trainingsdaten unterscheiden. Am einfachsten erhalten Sie solch eine Datenmenge, indem Sie die Originaldatentabelle, die die Langzeitdaten enthält, in zwei Teile aufteilen. Ein Teil wird zum Trainieren des Modells verwendet, der andere Teil wird nur zum Ermitteln der Modellqualität verwendet. Dieser Mining-Schritt wird als Testen des Modells bezeichnet.
Sie können Modelle mit der Prozedur TestClasModel testen.
Modellqualität
Die Qualität eines Klassifikationsmodells wird als Prozentsatz der richtigen Vorhersagen für eine bestimmte Datenmenge angegeben. Ziel ist es, ein qualitativ hochwertiges Modell zu erhalten. Der Anteil richtiger Vorhersagen sollte so hoch wie möglich sein, wenn Sie das Modell für die Ergebnisvorhersage für Entitäten verwenden, für die das Ergebnis noch nicht bekannt ist. Wenn Sie das Klassifikationsmodell also verwenden, um Kunden für eine Mailing-Kampagne auszuwählen, soll das Modell nur diejenigen Kunden auswählen, bei denen die Wahrscheinlichkeit, dass die Kunden antworten werden, am größten ist.
- Genauigkeit
- Die Genauigkeit zeigt die Wahrscheinlichkeit an, dass die Vorhersage der vorhergesagten Klasse korrekt ist. Ein Genauigkeitswert von 0,8 bedeutet z. B., dass 80 % der Sätze, für die der angegebene Wert vorhergesagt wird, korrekt klassifiziert sind. 20 % der Sätze haben einen Wert, der vom vorhergesagten Wert abweicht.
- Rangordnung
- Die Messung der Rangordnungsqualität zeigt die Fähigkeit des Modells an, die Sätze gemäß der Wahrscheinlichkeit zu sortieren, dass die Vorhersage der vorhergesagten Klasse korrekt ist.
Die Rangordnungsqualität ist die Beziehung zwischen dem Bereich zwischen der Modellkurve und der Zufallskurve und dem Bereich zwischen der optimalen Kurve und der Zufallskurve im Diagramm 'Zuwachs'.
Die Rangordnungsqualität zeigt an, wie gut ein Modell die Datensätze mit hohen Zielfeldwerten von Datensätzen mit niedrigen Zielfeldwerten trennen kann.
Eine negative Rangordnungsqualität zeigt an, dass ein Modell schlechter als zufällig ist. Häufige Ursache ist eine unterschiedliche Verschlüsselung von Zielwerten für Trainings- und Testdaten. Beispielsweise waren für das Zielfeld
RESPONSEdie ZielwerteYESundNOgemischt. - Zuverlässigkeit
- Die Zuverlässigkeit zeigt die Fähigkeit des Modells an, unbekannte Daten vorherzusagen. Außerdem zeigt sie, ob das Modell übertrainiert ist.
Die Qualitätsmessung bezüglich der Zuverlässigkeit zeigt die Konsistenz zwischen der Beurteilung der eigenen Vorhersagegenauigkeit eines Modells und den tatsächlichen Vorhersagefehlern an, die für einen Gültigkeitsprüfungs- oder Testdatensatz beobachtet werden.
Übertrainierte Modelle
Eine Modellqualität, die auf den Daten basiert, die Sie für das Training des des Modells verwendet haben, ist nicht immer ein guter Indikator für die Anzahl korrekter Vorhersagen bisher unbekannter Daten. Das Modell wurde möglicherweise zu sehr für die in der Datei mit den Trainingsdaten enthaltenen Datensätze optimiert. Dies wird als Übertrainieren eines Modells bezeichnet.
Im Extremfall enthält ein übertrainiertes Modell alle Datensätze aus der Datei mit den Trainingsdaten. Das bedeutet, dass das Modell die Trainingsdaten auswendig lernt. Es kann korrekte Vorhersagen für alle Datensätze der Datei mit den Trainingsdaten machen. Wenn dieses Modell jedoch auf bisher unbekannte Daten angewendet wird, sind die Ergebnisse möglicherweise nicht so gut, da die Daten Datensätze enthalten können, die in den Trainingsdaten nicht enthalten waren. In diesem Fall weiß das Modell nicht, was es tun soll.