Was ist das Gesetz über künstliche Intelligenz der Europäischen Union (KI-Gesetz der EU)?

Der EU AI Act, der als weltweit erstes umfassendes Framework für KI gilt, verbietet einige KI-Anwendungsbereiche vollständig und legt für andere strenge Anforderungen an Governance, Risikomanagement und Transparenz fest.

Das Gesetz schafft auch Regeln für allgemeine Modelle der künstlichen Intelligenz, wie z. B. Granite von IBM und das auf Open Source basierende Foundation Model Llama 3 von Meta.

Die Strafen können je nach Art des Verstoßes zwischen 7,5 Millionen Euro oder 1,5 % des weltweiten Jahresumsatzes und 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes liegen.

So wie die Datenschutz-Grundverordnung (DSGVO) der EU andere Nationen dazu inspirieren kann, Datenschutz-Gesetze zu verabschieden, erwarten Experten, dass der EU AI Act die Entwicklung von KI-Governance- und Ethik-Standards weltweit vorantreiben wird.

Der EU AI Act gilt für eine Vielzahl von Akteuren in der KI-Wertschöpfungskette (z. B. Anbieter, Anwender, Importeure, Händler, Produkthersteller und autorisierte Vertreter). Erwähnenswert sind die Definitionen von Anbietern, Anwendern und Importeuren im Rahmen dieses KI-Gesetzes.

Anbieter sind Personen oder Organisationen, die KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck (General-Purpose AI, GPAI) entwickeln oder in ihrem Auftrag entwickeln lassen und sie unter ihrem Namen oder ihrer Marke auf den Markt bringen oder in Betrieb nehmen.

Das Gesetz definiert ein KI-System allgemein als ein System, das mit einem gewissen Maß an Autonomie Eingaben verarbeiten kann, um daraus abzuleiten, wie Ausgaben generiert werden können (zum Beispiel Vorhersagen, Empfehlungen, Entscheidungen, Inhalte), die physische oder virtuelle Umgebungen beeinflussen können. Es definiert GPAI als KI-Modelle, die eine signifikante Allgemeingültigkeit aufweisen, in der Lage sind, eine Vielzahl unterschiedlicher Aufgaben kompetent auszuführen, und die in eine Vielzahl von nachgelagerten KI-Systemen oder -Anwendungen integriert werden können. Zum Beispiel ist ein Foundation Model ein GPAI; ein Chatbot oder generatives KI-Tool, das auf diesem Modell basiert, wäre ein KI-System.

Anwender sind Personen oder Unternehmen, die KI-Tools nutzen. Zum Beispiel wäre ein Unternehmen, das den KI-Chatbot eines Drittanbieters zur Bearbeitung von Kundenserviceanfragen nutzt, ein Anwender.

Importeure sind in der EU ansässige oder niedergelassene Personen und Unternehmen, die KI-Systeme einer außerhalb der EU ansässigen Person oder eines Unternehmens auf den EU-Markt bringen.

Der EU AI Act gilt auch für Anbieter und Anwender außerhalb der EU, wenn ihre KI oder das Output der KI in der EU verwendet werden.

Nehmen wir zum Beispiel an, ein Unternehmen in der EU sendet Daten an einen KI-Anbieter außerhalb der EU, der die Daten mit Hilfe von KI verarbeitet und die Ergebnisse dann an das Unternehmen in der EU zurücksendet, um sie zu nutzen. Da der Output des KI-Systems des Anbieters in der EU verwendet wird, ist der Anbieter an den EU AI Act gebunden.

Anbieter außerhalb der EU, die KI-Services in der EU anbieten, müssen autorisierte Vertreter in der EU benennen, die die Einhaltung der Vorschriften in ihrem Namen koordinieren.

Der Geltungsbereich des Gesetzes ist zwar weit gefasst, aber einige Anwendungsbereiche der KI sind davon ausgenommen. Die rein persönliche Nutzung von KI und die Nutzung von KI-Modellen und -Systemen nur zur wissenschaftlichen Forschung und Entwicklung sind Beispiele für Ausnahmen bei den Einsatzmöglichkeiten von KI.

Der EU AI Act reguliert KI-Systeme auf der Grundlage der Risikostufe. Risiko bezieht sich hier auf die Wahrscheinlichkeit und Schwere des potenziellen Schadens. Einige der wichtigsten Bestimmungen sind:

• Ein Verbot bestimmter KI-Praktiken, die als unannehmbares Risiko gelten
  
  
• Standards für die Entwicklung und die Bereitstellung bestimmter KI-Systeme mit hohem Risiko
  
  
• Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI)

KI-Systeme, die nicht in eine der Risikokategorien des EU AI Act fallen, unterliegen nicht den Anforderungen des Gesetzes (sie werden oft als „minimale Risikokategorie“ bezeichnet), obwohl einige von ihnen möglicherweise Transparenzverpflichtungen erfüllen müssen und sie andere bestehende Gesetze einhalten müssen.  Beispiele hierfür können E-Mail-Spam-Filter und Videospiele umfassen. Viele gängige KI-Anwendungsfälle lassen sich heute in diese Kategorie einordnen.

Es ist erwähnenswert, dass viele der Feinheiten des EU AI Acts in Bezug auf die Umsetzung noch nicht geklärt sind. So heißt es in dem Gesetz, dass die Europäische Kommission weitere Leitlinien zu einzelnen Anforderungen veröffentlichen wird, zum Beispiel im Zusammenhang mit Plänen zur Überwachung nach dem Markteintritt und bzgl. Zusammenfassungen von Schulungsdaten.

Der EU AI Act führt ausdrücklich bestimmte verbotene KI-Praktiken auf, die ein unannehmbares Risiko darstellen. Die Entwicklung oder Verwendung eines KI-Systems, das Menschen absichtlich zu schädlichen Entscheidungen verleitet, die sie andernfalls nicht treffen würden, wird in dem Gesetz als inakzeptables Risiko für die Nutzer angesehen und gilt als verbotene KI-Praxis.

Die EU-Kommission kann die im Gesetz enthaltene Liste der verbotenen Praktiken ändern. Dementsprechend ist es möglich, dass in Zukunft weitere KI-Praktiken verboten werden.

 Eine unvollständige Liste der verbotenen KI-Praktiken zum Zeitpunkt der Veröffentlichung dieses Artikels umfasst:

• Soziale Bewertungssysteme – Systeme, die Personen aufgrund ihres Sozialverhaltens bewerten oder klassifizieren, was zu einer nachteiligen oder ungünstigen Behandlung in einem sozialen Kontext führt, der nichts mit der ursprünglichen Datenerhebung zu tun hat und ungerechtfertigt oder unverhältnismäßig zur Schwere des Verhaltens ist
  
  
• Systeme zur Erkennung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen, es sei denn, diese Instrumente werden für medizinische oder Sicherheitszwecke eingesetzt
  
  
• KI, die zur Ausnutzung der Schwachstellen von Menschen eingesetzt wird (z. B. Schwachstellen aufgrund von Alter oder Behinderung)
  
  
• Ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsanlagen (CCTV) für Gesichtserkennungsdatenbanken
  
  
• Biometrische Identifizierungssysteme, die Personen anhand von sensiblen Merkmalen identifizieren
  
  
• Spezifische prädiktive Polizeianwendungen
  
  
• Einsatz von biometrischen Echtzeit-Fernidentifikationssystemen in der Öffentlichkeit durch die Strafverfolgungsbehörden (es sei denn, es liegt eine Ausnahme vor, wobei eine vorherige Genehmigung durch eine Justiz- oder unabhängige Verwaltungsbehörde generell erforderlich ist).

KI-Systeme werden im Rahmen des EU AI Act als risikoreich eingestuft, wenn es sich um ein Produkt oder eine Sicherheitskomponente eines Produkts handelt, das/die unter bestimmte EU-Gesetze fällt, auf die im Gesetz verwiesen wird, wie z. B. die Gesetze zur Sicherheit von Spielzeug und In-vitro-Diagnostika.

Das Gesetz führt auch bestimmte Verwendungszwecke auf, die generell als risikoreich gelten, darunter KI-Systeme, die wie folgt eingesetzt werden:

• in der Arbeitswelt, z. B. bei der Rekrutierung von Kandidaten, der Bewertung von Bewerbern und zum Treffen von Beförderungsentscheidungen
  
  
• in bestimmten Medizinprodukten
  
  
• in bestimmten Bereichen der allgemeinen und beruflichen Bildung
  
  
• in juristischen und demokratischen Prozessen, wie zum Beispiel Systeme, die den Ausgang von Wahlen beeinflussen sollen
  
  
• zur Bestimmung des Zugangs zu wesentlichen privaten oder öffentlichen Diensten, einschließlich Systemen, die die Berechtigung zum Bezug öffentlicher Leistungen beurteilen und Kreditwürdigkeitsprüfungen vornehmen
  
  
• im Management kritischer Infrastrukturen (z. B. Wasser-, Gas- und Stromversorgung usw.)
  
  
• in biometrischen Identifikationssystemen, die nicht verboten sind, mit Ausnahme von Systemen, deren einziger Zweck die Verifizierung der Identität von Personen ist (z. B. die Verwendung eines Fingerabdruckscanners, um jemandem Zugang zu einer Banking-App zu gewähren)

Für die in dieser Liste aufgeführten Systeme kann eine Ausnahme möglich sein, wenn das KI-System keine erhebliche Bedrohung für die Gesundheit, die Sicherheit oder die Rechte von Personen darstellt. Das Gesetz legt Kriterien fest, von denen eines oder mehrere erfüllt sein müssen, bevor eine Ausnahme ausgelöst werden kann (z. B. wenn das KI-System eine enge verfahrenstechnische Aufgabe erfüllen soll). Wenn sich der Anbieter auf diese Ausnahme beruft, muss er seine Bewertung dokumentieren, dass das System kein hohes Risiko darstellt. Die Aufsichtsbehörden können Einsicht in diese Bewertung verlangen. Die Ausnahmeregelung gilt nicht für KI-Systeme, die automatisch personenbezogene Daten verarbeiten, um bestimmte Aspekte des Lebens einer Person zu bewerten oder vorherzusagen, wie z. B. ihre Produktpräferenzen (Profiling), die immer als risikoreich gelten.

Wie bei der Liste der verbotenen KI-Praktiken kann die EU-Kommission auch die Liste der KI-Systeme mit hohem Risiko in Zukunft aktualisieren.

KI-Systeme mit hohem Risiko müssen besonderen Anforderungen genügen. Nachfolgend einige Beispiele:

• Implementierung eines kontinuierlichen Risikomanagementsystems zur Überwachung der KI während ihres gesamten Lebenszyklus. Von den Anbietern wird zum Beispiel erwartet, dass sie absehbare Risiken, die durch die beabsichtigte Nutzung ihrer Systeme entstehen, mindern.
  
  
• Einführung strenger Data-Governance-Verfahren, um sicherzustellen, dass die Trainings-, Validierungs- und Testdaten bestimmte Qualitätskriterien erfüllen. Zum Beispiel müssen die Datenerfassung und die Herkunft der Daten geregelt und Maßnahmen zur Vermeidung und Reduzierung von Verzerrungen ergriffen werden.
  
  
• Erstellung einer umfassenden technischen Dokumentation mit spezifischen Informationen, einschließlich der Spezifikationen des Systemdesigns, Fähigkeiten, Einschränkungen und der Einhaltung von Vorschriften.

Für bestimmte Arten von KI bestehen zusätzliche Transparenzpflichten. Zum Beispiel:

• KI-Systeme, die direkt mit Personen interagieren sollen, müssen so gestaltet sein, dass sie die Nutzer darüber informieren, dass sie mit einem KI-System interagieren, es sei denn, dies ist für den Einzelnen aus dem Kontext offensichtlich. Ein Chatbot muss zum Beispiel so gestaltet sein, dass er die Nutzer darauf hinweist, dass er ein Chatbot ist.
   
  
• KI-Systeme, die Text, Bilder oder bestimmte andere Inhalte erzeugen, müssen maschinenlesbare Formate verwenden, um die Ausgaben als von KI erzeugt oder bearbeitet zu kennzeichnen. Das gilt zum Beispiel für KI, die Deepfakes erzeugt – Bilder oder Videos, die so verändert wurden, dass sie jemanden zeigen, der etwas tut oder sagt, was er nicht getan oder gesagt hat.

Im Folgenden stellen wir einige Verpflichtungen für die wichtigsten Betreiber von KI-Systemen mit hohem Risiko in der KI-Wertschöpfungskette (Anbieter und Anwender) vor.

Anbieter von KI-Systemen mit hohem Risiko müssen unter anderem folgende Anforderungen erfüllen:

• Gewährleistung der Einhaltung der im Gesetz festgelegten Anforderungen für KI-Systeme mit hohem Risiko. Zum Beispiel die Implementierung eines kontinuierlichen Risikomanagementsystems.
  
  
• Einsatz eines Qualitätsmanagementsystems.
  
  
• Umsetzung von Überwachungsplänen für die Zeit nach der Markteinführung, um die Leistung des KI-Systems zu überwachen und seine kontinuierliche Einhaltung während des Lebenszyklus des Systems zu bewerten.

Anwender von KI-Systemen mit hohem Risiko werden Verpflichtungen haben, darunter:

• Ergreifung geeigneter technischer und organisatorischer Maßnahmen, um sicherzustellen, dass diese Systeme gemäß ihrer Gebrauchsanweisung verwendet werden.
  
  
• Aufbewahrung der automatisch erstellten KI-Systemprotokolle für einen bestimmten Zeitraum, soweit sich diese Protokolle unter ihrer Kontrolle befinden.
  
  
• Für Anwender, die KI-Systeme mit hohem Risiko für die Erbringung bestimmter grundlegender Dienstleistungen einsetzen (z. B. staatliche Stellen oder private Organisationen, die öffentliche Dienstleistungen erbringen), sollten vor dem erstmaligen Einsatz entsprechende Folgenabschätzungen bezüglich der Wahrung der Grundrechte durchgeführt werden.

Der EU AI Act schafft separate Regeln für KI-Modelle mit allgemeinem Verwendungszweck (GPAI). Anbieter von GPAI-Modellen haben unter anderem folgende Verpflichtungen:

• Festlegung von Strategien zur Einhaltung des EU-Urheberrechts.
  
  
• Erstellung und Veröffentlichung detaillierter Zusammenfassungen der Trainingsdatensätze.

Wenn ein GPAI-Modell als systemisches Risiko eingestuft wird, haben die Anbieter zusätzliche Verpflichtungen. Ein systemisches Risiko ist ein Risiko, das sich auf die hochgradig auswirkungsreichen Fähigkeiten von GPAI-Modellen bezieht, die aufgrund ihrer Reichweite oder aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Auswirkungen auf die öffentliche Sicherheit, die Grundrechte oder die Gesellschaft als Ganzes einen erheblichen Einfluss auf den EU-Markt haben, der sich in großem Umfang über die gesamte Wertschöpfungskette ausbreiten kann. Das Gesetz verwendet Trainingsressourcen als eines der Kriterien für die Identifizierung eines systemischen Risikos – wenn die kumulative Menge an Rechenleistung, die für das Training eines Modells verwendet wird, größer ist als 10^25 Gleitkommaoperationen (FLOPs; Floating Point Operations Per Second), wird davon ausgegangen, dass das Modell über Funktionen verfügt, die ein systemisches Risiko darstellen. Auch die EU-Kommission kann ein Modell als systemgefährdend einstufen.

Anbieter von GPAI-Modellen, die ein Systemrisiko darstellen, einschließlich freier, quelloffener Modelle, müssen einige zusätzliche Verpflichtungen erfüllen, darunter:

• Dokumentation und Meldung schwerwiegender Vorfälle an das EU KI-Amt und die zuständigen nationalen Regulierungsbehörden.
  
  
• Implementierung einer angemessenen Cybersicherheit zum Schutz des Modells und seiner physischen Infrastruktur.

Bei Nichteinhaltung der verbotenen KI-Praktiken können Unternehmen mit einer Geldstrafe von bis zu 35.000.000 EUR oder 7 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Für die meisten anderen Verstöße, einschließlich der Nichteinhaltung der Anforderungen für KI-Systeme mit hohem Risiko, können Unternehmen mit einer Geldstrafe von bis zu 15.000.000 EUR oder 3 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Für die Übermittlung falscher, unvollständiger oder irreführender Informationen an Behörden können Unternehmen mit einer Geldstrafe von bis zu 7.500.000 EUR oder 1 % des weltweiten Jahresumsatzes belegt werden, je nachdem, welcher Betrag höher ist.

Insbesondere sieht der EU AI Act unterschiedliche Regeln für die Verhängung von Geldstrafen für Start-ups und andere kleine und mittlere Unternehmen vor. Für diese Unternehmen ist die Geldbuße der niedrigere der beiden oben angegebenen möglichen Beträge.

Das Gesetz trat am 1. August 2024 in Kraft, wobei verschiedene Bestimmungen des Gesetzes schrittweise in Kraft treten. Zu den wichtigsten Terminen gehören folgende:

• Ab dem 2. Februar 2025 treten die Verbote unzulässiger KI-Praktiken in Kraft.
  
  
• Ab dem 2. August 2025 treten die Regeln für KI-Modelle mit allgemeinem Verwendungszweck für neue GPAIs in Kraft. Anbieter von GPAI-Modellen, die vor dem 2. August 2025 eingeführt wurden, haben bis zum 2. August 2027 Zeit, die Anforderungen zu erfüllen.
  
  
• Ab dem 2. August 2026 treten die Regeln für KI-Systeme mit hohem Risiko in Kraft.
  
  
• Ab dem 2. August 2027 gelten die Vorschriften für KI-Systeme, bei denen es sich um Produkte oder Sicherheitskomponenten von Produkten handelt, die durch spezifische EU-Rechtsvorschriften geregelt sind.