Das KI-Gesetz der EU teilt KI-Systeme je nach Risikostufe in verschiedene Kategorien ein. Der Begriff Risiko bezieht sich hier auf die Wahrscheinlichkeit und den Schweregrad des potenziellen Schadens, den eine KI für die Gesundheit, Sicherheit oder die Menschenrechte verursachen könnte. 

Im Großen und Ganzen befasst sich das Gesetz mit vier Kategorien von KI-Risiken:

·       Inakzeptables Risiko

·       Hohes Risiko

-       Begrenztes Risiko

·       Minimales Risiko

KI-Anwendungen, die ein inakzeptables Risikoniveau darstellen, sind verboten. Das KI-Gesetz der EU listet explizit alle verbotenen KI-Praktiken auf, darunter:

• Systeme, die Menschen absichtlich manipulieren und sie dazu bringen, gefährliche Entscheidungen zu treffen, die sie andernfalls nicht treffen würden.
  
  
• Systeme, die das Alter, die Behinderung oder den sozialen oder ökonomischen Status einer Person ausnutzen, um ihr Verhalten wesentlich zu beeinflussen. 
  
  
• Biometrische Kategorisierungssysteme, die biometrische Daten verwenden, um daraus vertrauliche personenbezogene Informationen wie Herkunft, sexuelle Orientierung oder politische Meinungen abzuleiten.
  
  
• Social-Scoring-Systeme, die irrelevante oder unbedeutende Verhaltensweisen und Eigenschaften nutzen, um eine nachteilige Behandlung von Menschen zu fördern.
  
  
• Biometrische Echtzeit-Fernidentifikationssysteme, die an öffentlichen Plätzen zu Strafverfolgungszwecken eingesetzt werden. Hier gibt es einige geringfügige Ausnahmen, wie z. B. die Verwendung dieser Tools bei der gezielten Suche nach Opfern bestimmter schwerer Straftaten.
  
  
• Prädiktive Polizeisysteme, die Profile von Personen erstellen, um einzuschätzen, wie hoch die Wahrscheinlichkeit ist, dass sie eine Straftat begehen. 
  
  
• Gesichtserkennungsdatenbanken, die ungezieltes Scraping von Bildern aus dem Internet oder Überwachungsaufnahmen durchführen.
  
  
• Tools zur Erkennung von Emotionen, die in Schulen oder am Arbeitsplatz verwendet werden, es sei denn, diese Tools werden zu medizinischen oder Sicherheitszwecken eingesetzt.

Die Europäische Kommission behält sich das Recht vor, diese Liste zu überprüfen und zu ändern, sodass es möglich ist, dass in Zukunft weitere KI-Anwendungsfälle verboten werden.

Der Großteil des Gesetzes befasst sich mit KI-Systemen mit hohem Risiko. Es gibt zwei Möglichkeiten, wie ein System nach dem KI-Gesetz der EU die Einstufung „hohes Risiko“ erhalten kann: wenn es in einem regulierten Produkt verwendet wird oder wenn es ausdrücklich als risikoreich eingestuft wird. 

Produkte in einigen Bereichen, wie Spielzeug, Funkgeräte und medizinische Geräte, werden bereits durch bestehende EU-Gesetze reguliert. Alle KI-Systeme, die als Sicherheitskomponenten dieser regulierten Produkte dienen oder die selbst als regulierte Produkte fungieren, gelten automatisch als Systeme mit hohem Risiko. 

Das Gesetz listet auch bestimmte KI-Anwendungsfälle auf, die immer die Einstufung „hohes Risiko“ erhalten. Dazu gehören:

• Alle biometrischen Systeme, die nicht ausdrücklich durch das KI-Gesetz der EU oder andere Gesetze der EU oder der Mitgliedstaaten verboten sind, mit Ausnahme von Systemen, die die Identität einer Person überprüfen (z. B. die Verwendung eines Fingerabdruckscanners, um jemandem Zugriff auf eine Banking-App zu gewähren).
  
  
• Systeme, die als Sicherheitskomponenten für kritische Infrastrukturen wie Wasser-, Gas- und Stromversorgung eingesetzt werden.
  
  
• Systeme, die im Bereich der Schul- und Berufsausbildung verwendet werden, einschließlich Systeme zur Überwachung der Leistung von Lernenden, zur Erkennung von Betrug und zur direkten Zulassung.
  
  
• Systeme, die im Beschäftigungsumfeld verwendet werden, z. B. zur Rekrutierung von Kandidaten, zur Bewertung von Bewerbern und zum Treffen von Beförderungsentscheidungen.
  
  
• Systeme, die dazu dienen, den Zugang zu wesentlichen privaten oder öffentlichen Diensten zu bestimmen, einschließlich Systemen, die die Berechtigung zum Bezug öffentlicher Leistungen beurteilen und Kreditwürdigkeitsprüfungen vornehmen. Dazu gehören keine Systeme, die zur Erkennung von Finanzbetrug verwendet werden.
  
  
• Systeme, die für die Durchsetzung von Klagen verwendet werden, z. B. KI-fähige Lügendetektoren und Beweisanalysen.
  
  
• Systeme, die für die Migration und Grenzkontrolle verwendet werden, z. B. Systeme für die Bearbeitung von Visaanträgen. Dazu gehören keine Systeme zur Überprüfung von Reisedokumenten.
  
  
• Systeme, die in juristischen und demokratischen Prozessen eingesetzt werden, beispielsweise Systeme, die den Ausgang von Wahlen direkt beeinflussen.
  
  
• Profilerstellung– Die automatische Verarbeitung personenbezogener Daten zur Bewertung oder Vorhersage einiger Aspekte des Lebens einer Person, z. B. ihrer Produktpräferenzen, ist immer ein hohes Risiko.

Wie bei der Liste der verbotenen KI kann die Europäische Kommission diese Liste in Zukunft aktualisieren.

Anbieter von Systemen mit hohem Risiko müssen diese Regeln befolgen:

• Implementierung eines kontinuierliches Risikomanagementsystems, um die KI zu überwachen und die Einhaltung der Vorschriften während des gesamten Lebenszyklus sicherzustellen. Es wird erwartet, dass Anbieter Risiken mindern, die sowohl durch den beabsichtigten Gebrauch als auch durch den vorhersehbaren Missbrauch ihrer Systeme entstehen.
  
  
• Einsatz strenger Data-Governance-Standards, um sicherzustellen, dass Trainings- und Testdaten ordnungsgemäß erfasst, verarbeitet und geschützt werden. Darüber hinaus sollten die Daten von hoher Qualität, für den Zweck des Systems relevant und einigermaßen frei von Bias (Verzerrungen) sein.
  
  
• Pflege einer umfassenden technischen Dokumentation der Designspezifikationen, Funktionen und Einschränkungen des Systems sowie der Einhaltung gesetzlicher Vorschriften.
  
  
• Implementierung von automatisierten Ereignisprotokollen in KI-Tools, um den Systembetrieb zu verfolgen, Ergebnisse nachzuvollziehen und Risiken sowie schwerwiegende Vorfälle zu erkennen.
  
  
• Bereitstellung von Informationen, die die Anwender von KI-Systemen benötigen, um die Vorschriften einzuhalten, einschließlich klarer Anweisungen zur Verwendung des Systems, zur Interpretation der Outputs und zur Risikominderung.
  
  
• Entwicklung von Systemen zur Unterstützung und Förderung von menschlichen Kontrollen, z. B. durch die Bereitstellung von Benutzeroberflächen, die es den Benutzern ermöglichen, den Systembetrieb zu überwachen, außer Kraft zu setzen und in ihn einzugreifen.
  
  
  
• Sicherstellung, dass KI-Systeme einigermaßen genau, robust und sicher sind. Hierzu können die Erstellung von Backup-Systemen, die Entwicklung von Algorithmen zur Vermeidung von Bias und die Implementierung geeigneter Cybersicherheitskontrollen gehören.

Wenn ein KI-System in eine der Kategorien mit hohem Risiko fällt, aber keine erhebliche Bedrohung für Gesundheit, Sicherheit oder Rechte darstellt, können Anbieter auf diese Anforderungen verzichten. Der Anbieter muss nachweisen, dass das System kein Risiko darstellt, und die Aufsichtsbehörden können Unternehmen für eine falsche Klassifizierung von Systemen bestrafen.

KI-Systeme mit begrenztem Risiko sind Systeme, die bestimmte Transparenzverpflichtungenerfüllen. Dabei handelt es sich um Regeln, die bestimmte KI-Typen unabhängig von ihrem Risikoniveau einhalten müssen. Zu diesen Regeln gehören:

• KI-Systeme sollten die Benutzer klar informieren, wenn sie mit künstlicher Intelligenz interagieren. Zum Beispiel sollte ein Chatbot den Leuten sagen, dass es sich um einen Chatbot handelt.
  
  
• Unternehmen müssen Menschen informieren, wenn sie Emotionserkennung oder biometrische Kategorisierungssysteme verwenden. Alle über diese Systeme erfassten personenbezogenen Daten müssen in Übereinstimmung mit der DSGVO verarbeitet werden. 
  
  
• Generative KI-Systeme, die Text, Bilder oder andere Inhalte erstellen, müssen Wasserzeichen oder andere maschinenlesbare Signale verwenden, um diese Inhalte als KI-generiert zu kennzeichnen. 
  
  
• Anwender müssen Deepfakes klar kennzeichnen und dies an die Zielgruppe weitergeben.
  
  
• Anwender, die KI einsetzen, um Texte zu Themen von öffentlichem Interesse zu verfassen, z. B. Nachrichtenartikel, müssen den Text als KI-generiert kennzeichnen, es sei denn, ein menschlicher Redakteur überprüft ihn und übernimmt die Verantwortung dafür.

Die Kategorie mit minimalem Risiko (manchmal auch als „Kategorie mit minimalem oder keinem Risiko“ bezeichnet) umfasst KI-Tools, die nicht direkt mit Menschen interagieren oder die, wenn sie es tun, nur sehr geringe wesentliche Auswirkungen haben. Beispiele hierfür sind E-Mail-Spam-Filter und KI in Videospielen. Viele gängige KI-Anwendungsfälle lassen sich heute in diese Kategorie einordnen. 

Die meisten Regeln des KI-Gesetzes gelten nicht für KI mit minimalem Risiko (obwohl einige möglicherweise die oben aufgeführten Transparenzverpflichtungen erfüllen müssen).

Da GPAI-Modelle („General purpose artificial intelligence“) so anpassungsfähig sind, kann es schwierig sein, sie nach dem Risikoniveau zu kategorisieren. Aus diesem Grund enthält das KI-Gesetz der EU eine separate Regelung, die explizit für GPAI gilt.

Alle Anbieter von GPAI-Modellen müssen Folgendes sicherstellen:

• Pflege einer aktualisierten technischen Dokumentation, die unter anderem die Design-, Test- und Trainingsprozesse des Modells beschreibt.
  
  
• Bereitstellung von Informationen für die Anwender der Modelle (z. B. Unternehmen, die darauf basierend KI-Systeme entwickeln), damit sie wissen, wie sie das Modell verantwortungsvoll nutzen. Zu diesen Informationen gehören die Funktionen, Einschränkungen und der beabsichtigte Zweck des Modells.
  
  
• Festlegung von Richtlinien zur Einhaltung der EU-Urheberrechtsgesetze.
  
  
• Erstellung und Veröffentlichung von detaillierten Zusammenfassungen der zum Training verwendeten Datensätze.

Die meisten kostenlosen Open-Source-GPAI-Modelle sind von den ersten beiden Anforderungen ausgenommen. Sie müssen lediglich die Urheberrechtsgesetze einhalten und Zusammenfassungen der Trainingsdaten zur Verfügung stellen.

Nach dem KI-Gesetz der EU stellen einige GPAI-Modelle ein systemisches Risiko dar. Man spricht von einem systemischen Risiko, wenn ein Modell das Potenzial hat, der öffentlichen Gesundheit, der Sicherheit oder den Grundrechten ernsthaften, weitreichenden Schaden zuzufügen. 

Dem Gesetz zufolge stellt ein Modell ein systemisches Risiko dar, wenn es „erhebliche Auswirkungen“ haben kann. Im Wesentlichen bedeutet dies, dass die Fähigkeiten des Modells denen der fortschrittlichsten verfügbaren GPAI entsprechen oder diese übertreffen. 

Das Gesetz verwendet Trainingsressourcen als Schlüsselkriterien für die Identifizierung systemischer Risiken. Wenn die kumulative Rechenleistung, die zum Trainieren eines Modells verwendet wird, mehr als 1025 Gleitkommaoperationen (Floating Point Operations, FLOPs) beträgt, wird davon ausgegangen, dass es hohe Auswirkungen haben kann und ein systemisches Risiko darstellt. 

Die Europäische Kommission kann ein Modell auch als systemisches Risiko einstufen, wenn sie feststellt, dass das Modell ähnliche Auswirkungen hat wie die zuvor erwähnten Fähigkeiten mit hohen Risiken, auch wenn das Modell den FLOPs-Schwellenwert nicht erreicht. 

GPAI-Modelle, die ein systemisches Risiko darstellen – einschließlich kostenloser Open-Source-Modelle – müssen alle oben genannten Anforderungen sowie einige zusätzliche Verpflichtungen erfüllen:

• Durchführung von standardisierten Modellbewertungen, einschließlich kontradiktorischer Tests, um systemische Risiken zu identifizieren und zu mindern.
  
  
• Dokumentation und Meldung schwerwiegender Vorfälle an das KI-Büro der EU und die zuständigen Aufsichtsbehörden auf Länderebene.
  
  
• Implementierung geeigneter Sicherheitskontrollen, um das Modell und seine physische Infrastruktur zu schützen.

Anbieter von GPAI-Modellen können die Einhaltung der Vorschriften sicherstellen, indem sie freiwillige Verhaltensregeln übernehmen, die das KI-Büro der EU derzeit ausarbeitet. Man geht davon aus, dass die Verhaltensregeln innerhalb von neun Monaten nach Inkrafttreten des Gesetzes fertiggestellt werden. Anbieter, die diese Verhaltensregeln nicht übernehmen, müssen die Einhaltung der Vorschriften auf andere Weise nachweisen. 

Anbieter, Anwender, Importeure und Distributoren sind im Allgemeinen dafür verantwortlich, dass die KI-Produkte, die sie entwickeln, verwenden oder in Umlauf bringen, den Vorschriften entsprechen. Sie müssen Beweise für die Einhaltung der Vorschriften dokumentieren und diese auf Anfrage den Behörden vorlegen. Sie müssen auch Informationen austauschen und zusammenarbeiten, um sicherzustellen, dass jedes Unternehmen in der KI-Lieferkette das KI-Gesetz der EU einhalten kann.

Anbieter und Anwender müssen außerdem sicherstellen, dass Mitarbeiter oder andere Parteien, die im Namen des Unternehmens mit KI arbeiten, über die erforderlichen KI-Kenntnisse verfügen, um verantwortungsvoll mit KI umzugehen.

Über diese allgemeinen Anforderungen hinaus hat jede Partei ihre eigenen spezifischen Verpflichtungen.

• Entwicklung von KI-Systeme und -Modellen, die den relevanten Anforderungen entsprechen.
  
  
• Einsendung neuer risikoreicher KI-Produkte an die zuständigen Behörden für Konformitätsbewertungen, bevor sie auf den Markt gebracht werden. Konformitätsbewertungen sind Bewertungen hinsichtlich der Konformität eines Produkts mit dem KI-Gesetz der EU durch Dritte. 
  
  
• Wenn ein Anbieter eine wesentliche Änderung an einem KI-Produkt vornimmt, das seinen Zweck ändert oder seinen Compliance-Status beeinflusst, muss der Anbieter das Produkt erneut zur Bewertung einreichen.
  
  
• Registrierung von KI-Produkten mit hohem Risiko in der EU-Datenbank.
  
  
• Implementierung von Überwachungsplänen nach der Markteinführung, um die KI-Leistung zu verfolgen und die kontinuierliche Einhaltung der Vorschriften während des gesamten Lebenszyklus des Systems zu gewährleisten.
  
  
• Meldung schwerwiegender KI-Vorfälle – wie Todesfälle, Störungen kritischer Infrastrukturen und Verletzungen von Grundrechten – an die Behörden der Mitgliedsstaaten und gegebenenfalls Durchführung von Korrekturmaßnahmen. 

• Verwendung von KI-Systemen für ihren vorgesehenen Zweck und gemäß den Anweisungen der Anbieter.
  
  
• Sicherstellung, dass Systeme mit hohem Risiko einer angemessenen menschlichen Aufsicht unterliegen.
  
  
• Bei ernsthaften KI-Vorfällen müssen Anbieter, Distributoren, Behörden und andere relevante Parteien davon in Kenntnis gesetzt werden.
  
  
• Aufbewahrung von KI-Systemprotokollen mindestens sechs Monate oder länger, je nach Gesetzgebung des Mitgliedstaats.
  
  
• Anwender, die KI-Systeme mit hohem Risiko zur Erbringung wesentlicher Dienste nutzen – wie Finanzinstitute, Regierungsbehörden und Strafverfolgungsbehörden – müssen vor dem ersten Einsatz einer KI eine Folgenabschätzung für die Grundrechte durchführen.

Importer und Distributoren müssen sicherstellen, dass die KI-Systeme und -Modelle, die sie in Umlauf bringen, dem KI-Gesetz der EU entsprechen. 

Ein Importeur oder Distributor gilt als KI-Anbieter, wenn er ein Produkt mit seinem eigenen Namen oder seinem Markenzeichen versieht oder eine wesentliche Änderung am Produkt vornimmt. In diesem Fall muss der Importeur oder Distributor allen im Gesetz dargelegten Pflichten eines Anbieters nachkommen.