Die erste ist die Konzeptdrift, die auftritt, wenn es zu einer Verschiebung zwischen den Eingabevariablen und der Zielvariablen kommt und der Algorithmus anfängt, falsche Antworten zu liefern, weil die Definitionen nicht mehr gültig sind. Die Verschiebung der unabhängigen Variablen kann in verschiedenen Zeiträumen auftreten:

An zweiter Stelle steht die Datendrift, bei der sich die zugrunde liegende Datenverteilung der Eingabedaten geändert hat. Im Einzelhandel kann der Verkauf eines Produkts durch die Einführung eines anderen neuen Produkts oder die Einstellung eines Konkurrenzprodukts beeinträchtigt werden. Es kann auch sein, dass eine Website, die zunächst von jungen Menschen, dann aber auch von älteren Menschen angenommen wird, in ihrem ursprüngliche Modell, das auf dem Nutzungsverhalten der jüngeren Nutzer basiert, bei den älteren Nutzern nicht so gut funktioniert.

Die dritte Variante entsteht durch eine vorgelagerte Datenänderung, die auftritt, wenn es eine Änderung in der Datenpipeline gibt. Zum Beispiel könnten vorgelagerte Daten in eine andere Währung geändert werden, z. B. USD statt Euro, oder Messungen in Meilen statt Kilometern oder Temperaturen in Fahrenheit statt Celsius. Eine solche Änderung würde ein Modell durcheinanderbringen, das nicht darauf ausgelegt ist, die geänderte Beschriftung der Daten zu berücksichtigen.

Die Genauigkeit eines KI-Modells kann sich innerhalb von Tagen nach der Bereitstellung verschlechtern, da sich die Produktionsdaten von den Schulungsdaten des Modells unterscheiden. Dies kann zu falschen Vorhersagen und erheblichen Risiken führen. Unternehmen sollten ein KI-Programm und Überwachungstools verwenden, die automatisch erkennen, wenn die Genauigkeit eines Modells unter einen voreingestellten Schwellenwert abfällt (oder abweicht). Ein solches Programm zur Erkennung von Modelldrift sollte auch nachverfolgen, welche Transaktionen die Abweichung verursacht haben, sodass diese neu gekennzeichnet und zum erneuten Trainieren des Modells verwendet werden können, um seine Vorhersagekraft während der Laufzeit wiederherzustellen.

Es gibt zwei Möglichkeiten, Drift zu messen. Zum einen statistisch: hier werden statistische Metriken verwendet. Diese Messung lässt sich oft einfacher implementieren, da die meisten Metriken in der Regel bereits im Unternehmen verwendet werden. Zum anderen modellbasiert. Hier misst man die Ähnlichkeit zwischen einem Punkt oder Gruppen von Punkten mit der Referenzbasislinie.

Unternehmen sollten ihre KI-Modelle während des gesamten Lebenszyklus regelmäßig testen. Diese Tests umfassen idealerweise:

1. Validierung von Modellen in der Vorproduktionsphase mit Tests zur Erkennung von Bias und Drift und anschließender Erstellung von Testberichten.
2. Übertragung der erfolgreichen Testkonfigurationen für ein Modell auf die bereitgestellte Version des Modells und Fortsetzung der automatisierten Tests.
3. Synchronisierung von Modell-, Daten- und Testergebnisinformationen mit Datensystemen.
4. Automatisierung, die konsistente und zuverlässige Benachrichtigungen bereitstellen kann und den Teams mehr Zeit gibt, sich auf die Modellentwicklung statt auf die Modellüberwachung zu konzentrieren.

Einer Studie von Forrester Total Economic Impact zufolge „können [Unternehmen] durch die Entwicklung, Ausführung und Verwaltung von Modellen in einer einheitlichen Daten- und KI-Umgebung sicherstellen, dass die KI-Modelle überall fair, erklärbar und konform bleiben. Dieser End-to-End-KI-Ansatz ermöglicht es einem Unternehmen auch, Modellabweichungen und -verzerrungen zu erkennen und zu korrigieren und das Modellrisiko zu verwalten, wenn sich ein KI-Modell in der Produktion befindet.“  

 Eine bewährte Methode besteht darin, alle Modelle von einem zentralen Dashboard aus zu verwalten. Ein integrierter Ansatz kann einem Unternehmen dabei helfen, Kennzahlen kontinuierlich zu verfolgen und Teams darauf aufmerksam zu machen, wenn Genauigkeit und Datenkonsistenz aufgrund von Entwicklung, Validierung und Bereitstellung abweichen. Eine zentralisierte, ganzheitliche Ansicht kann Unternehmen dabei helfen, Silos aufzubrechen und für mehr Transparenz in der gesamten Datenherkunft zu sorgen.

Driftszenarien und deren Ausmaß lassen sich mit Hilfe eines KI-Modells, das Produktions- und Trainingsdaten sowie Modellvorhersagen in Echtzeit vergleicht, erkennen. Auf diese Weise kann Drift schnell festgestellt und sofort mit dem erneuten Training begonnen werden. Diese Erkennung ist iterativ, so wie es maschinelle Lernvorgänge (MLOps) auch sind. 

Eine zeitbasierte Analyse ist hilfreich, um zu sehen, wie Drift entstand und wann sie auftrat. Wenn zum Beispiel wöchentlich Kontrollen durchgeführt werden, können Sie sehen, wie sich die Drift von Tag zu Tag entwickelt hat. Auch die Analyse von Zeitreihen kann hilfreich sein, um zu ermitteln, ob die Abweichung allmählich oder plötzlich erfolgte.

Verwenden Sie einen neuen Trainingsdatensatz, dem neuere und relevantere Beispiele hinzugefügt wurden. Ziel ist es, Ihre großen Sprachmodelle (LLM) schnell und korrekt wieder in die Produktion zu bringen. Wenn das erneute Trainieren des Modells das Problem nicht löst, ist möglicherweise ein neues Modell erforderlich.

Statt ein Modell mit Chargendaten zu trainieren, können Unternehmen ein „Online-Lernen“ praktizieren, indem sie ihre Modelle für maschinelles Lernen (ML) mit den neuesten realen Daten aktualisieren, sobald diese verfügbar sind. 

Es kann vorkommen, dass ein Modell abweicht, weil sich die zum Trainieren des Modells verwendeten Daten erheblich von den tatsächlich verwendeten Produktionsdaten unterscheiden. Wenn in einem medizinischen Anwendungsfall im Training hochauflösende Scans verwendet werden, vor Ort aber nur Scans mit niedriger Auflösung verfügbar sind, sind die Ergebnisse falsch.