Was ist KI-Risikomanagement?

20. Juni 2024

Lesedauer: 8 Minuten

KI-Risikomanagement ist der Prozess der systematischen Identifizierung, Minderung und Bewältigung der potenziellen Risiken im Zusammenhang mit KI-Technologien. Es handelt sich um eine Kombination aus Tools, Praktiken und Prinzipien, wobei der Schwerpunkt auf der Bereitstellung formeller KI-Risikomanagement-Frameworks liegt.

Im Allgemeinen besteht das Ziel des KI-Risikomanagements darin, die potenziellen negativen Auswirkungen von KI zu minimieren und gleichzeitig ihren Nutzen zu maximieren.

KI-Risikomanagement und KI-Governance

Das KI-Risikomanagement ist Teil des umfassenderen Bereichs der KI-Governance. KI-Governance bezieht sich auf die Leitplanken, die sicherstellen, dass KI-Tools und -Systeme sicher und ethisch sind und es auch bleiben.

Die KI-Governance ist eine umfassende Disziplin, während das KI-Risikomanagement ein Prozess innerhalb dieser Disziplin ist. Das Risikomanagement für KI konzentriert sich speziell auf die Identifizierung und Beseitigung von Schwachstellen und Bedrohungen, um KI-Systeme vor Schäden zu schützen. KI-Governance legt die Rahmenbedingungen, Regeln und Standards fest, die die KI-Forschung, -Entwicklung und -Anwendung steuern, um Sicherheit, Fairness und Achtung der Menschenrechte zu gewährleisten.

Warum Risikomanagement in KI-Systemen wichtig ist

In den letzten Jahren hat der Einsatz von KI-Systemen in allen Branchen stark zugenommen. McKinsey berichtet (Link befindet sich außerhalb von ibm.com), dass 72 % der Unternehmen inzwischen irgendeine Form von künstlicher Intelligenz (KI) einsetzen, was einem Anstieg von 17 % gegenüber 2023 entspricht.

Während Unternehmen den Vorteilen von KI – wie Innovation, Effizienz und Produktivitätssteigerung – nachjagen, befassen sie sich nicht immer mit den potenziellen Risiken, wie Datenschutzbedenken, Sicherheitsbedrohungen sowie ethischen und rechtlichen Fragen.

Die Führungskräfte sind sich dieser Herausforderung bewusst. Eine aktuelle Studie des IBM Institute for Business Value (IBM IBV) (Link befindet sich außerhalb von ibm.com) ergab, dass 96 % der Führungskräfte glauben, dass die Einführung generativer KI eine Sicherheitsverletzung wahrscheinlicher macht. Gleichzeitig stellte das IBM IBV auch fest, dass nur 24 % der aktuellen generativen KI-Projekte gesichert sind.

KI-Risikomanagement kann dazu beitragen, diese Lücke zu schließen und Unternehmen in die Lage zu versetzen, das volle Potenzial von KI-Systemen auszuschöpfen, ohne die KI-Ethik oder die Sicherheit zu beeinträchtigen.

Die mit KI-Systemen verbundenen Risiken verstehen

Wie andere Arten von Sicherheitsrisiken kann das KI-Risiko als Maß dafür verstanden werden, wie wahrscheinlich es ist, dass eine potenzielle KI-bezogene Bedrohung ein Unternehmen beeinträchtigt, und wie viel Schaden diese Bedrohung anrichten würde.

Obwohl jedes KI-Modell und jeder Anwendungsfall unterschiedlich ist, lassen sich die Risiken von KI im Allgemeinen in vier Kategorien einteilen:

  • Datenrisiken
  • Modellrisiken
  • Operationelle Risiken
  • Ethische und rechtliche Risiken

Wenn diese Risiken nicht richtig gehandhabt werden, können sie KI-Systeme und Unternehmen ernsthaft schädigen, einschließlich finanzieller Verluste, Rufschädigung, behördlicher Strafen, Vertrauensverlust in der Öffentlichkeit und Datenschutzverletzungen.

Datenrisiken

KI-Systeme sind auf Datensätze angewiesen, die mitunter anfällig für Manipulationen, Verletzungen, Verzerrungen oder Cyberangriffe sind. Unternehmen können diese Risiken mindern, indem sie die Integrität, Sicherheit und Verfügbarkeit von Daten während des gesamten KI-Lebenszyklus schützen, von der Entwicklung über die Schulung bis zur Bereitstellung.

 Häufige Datenrisiken sind:

  • Datensicherheit: Datensicherheit ist eine der größten und kritischsten Herausforderungen für KI-Systeme. Bedrohungsakteure können Unternehmen ernsthafte Probleme bereiten, indem sie die Datensätze, die KI-Technologien antreiben, verletzen, einschließlich unbefugtem Zugriff, Datenverlust und Verletzung der Vertraulichkeit.
  • Datenschutz: KI-Systeme verarbeiten oft sensible personenbezogene Daten, die anfällig für Datenschutzverletzungen sind, was zu regulatorischen und rechtlichen Problemen für Unternehmen führen kann.
  • Datenintegrität: KI-Modelle sind nur so zuverlässig wie ihre Trainingsdaten. Verzerrte Daten können zu falschen positiven Ergebnissen, ungenauen Ergebnissen oder schlechten Entscheidungen führen.

Modellrisiken

Bedrohungsakteure können KI-Modelle auf Diebstahl, Reverse Engineering oder unbefugte Manipulation abzielen. Angreifer könnten die Integrität eines Modells gefährden, indem sie die Architektur, die Gewichtungen oder die Parameter manipulieren – die Kernkomponenten, die das Verhalten und die Leistung eines KI-Modells bestimmen.

Zu den häufigsten Modellrisiken gehören:

  • Böswillige Angriffe: Bei diesen Angriffen werden Eingabedaten manipuliert, um KI-Systeme zu falschen Vorhersagen oder Klassifizierungen zu verleiten. Angreifer könnten beispielsweise gegnerische Beispiele generieren, die sie KI-Algorithmen zuführen, um die Entscheidungsfindung gezielt zu stören oder Verzerrungen zu erzeugen.
  • Prompt Injections: Diese Angriffe zielen auf Large Language Models (LLMs) ab. Hacker tarnen dabei böswillige Eingaben als legitime Prompts und manipulieren so Systeme für generative KI (GenAI), sodass diese vertrauliche Daten preisgeben, Fehlinformationen verbreiten oder Schlimmeres verursachen. Sogar simple Prompt Injections können dazu führen, dass ein KI-Chatbot wie ChatGPT Schutzmechanismen des Systems ignoriert und Dinge ausgibt, die er nicht sagen sollte.
  • Interpretierbarkeit des Modells: Komplexe KI-Modelle sind oft schwer zu interpretieren, sodass Benutzer nur schwer nachvollziehen können, wie sie zu ihren Entscheidungen gelangen. Dieser Mangel an Transparenz kann letztlich die Erkennung von Verzerrung und die Rechenschaftspflicht erschweren und gleichzeitig das Vertrauen in KI-Systeme und ihre Anbieter untergraben.
  • Angriffe auf die Lieferkette: Sie treten auf, wenn Akteure, von denen eine Sicherheitsbedrohung ausgeht, KI-Systeme auf der Ebene der Lieferkette ins Visier nehmen, einschließlich der Entwicklungs-, Bereitstellungs- oder Wartungsphase. Angreifer könnten beispielsweise Schwachstellen in Komponenten von Drittanbietern, die bei der KI-Entwicklung verwendet werden, ausnutzen, was zu Datenschutzverletzungen oder unbefugtem Zugriff führen kann.

Operationelle Risiken

Auch wenn KI-Modelle wie Magie erscheinen mögen, sind sie im Grunde genommen Produkte ausgeklügelter Codes und Algorithmen für maschinelles Lernen. Wie alle Technologien sind sie anfällig für operationelle Risiken. Wenn diese Risiken nicht berücksichtigt werden, können sie zu Systemausfällen und Sicherheitslücken führen, die von Bedrohungsakteuren ausgenutzt werden können. 

Zu den häufigsten operationellen Risiken gehören:

  • Drift oder Verfall: KI-Modelle können einen Modelldrift erleiden. Dabei können Änderungen in den Daten oder den Beziehungen zwischen Datenpunkten zu einer Leistungsverschlechterung führen. Zum Beispiel könnte ein Betrugserkennungsmodell mit der Zeit ungenauer werden und betrügerische Transaktionen nicht mehr erkennen.
  • Nachhaltigkeitsprobleme: KI-Systeme sind neue und komplexe Technologien, die eine angemessene Skalierung und Unterstützung erfordern. Die Vernachlässigung der Nachhaltigkeit kann zu Problemen bei der Wartung und Aktualisierung dieser Systeme führen, die wiederum eine uneinheitliche Leistung, höhere Betriebskosten und einen höheren Energieverbrauch zur Folge haben können.
  • Herausforderungen bei der Integration: Die Integration von KI-Systemen in die bestehende IT-Infrastruktur kann komplex und ressourcenintensiv sein. Unternehmen haben oft Probleme mit der Kompatibilität, Datensilos und der Systeminteroperabilität. Die Einführung von KI-Systemen kann auch neue Schwachstellen schaffen, indem die Angriffsfläche für Cyberbedrohungen vergrößert wird. 
  • Mangelnde Rechenschaftspflicht: Da KI-Systeme relativ neue Technologien sind, verfügen viele Unternehmen nicht über die entsprechenden Corporate-Governance-Strukturen. Im Ergebnis fehlt es KI-Systemen oft an Übersicht. McKinsey fand heraus (Link befindet sich außerhalb von ibm.com), dass nur 18 Prozent der Unternehmen über einen Rat oder Vorstand verfügen, der befugt ist, Entscheidungen über eine verantwortungsvolle KI-Governance zu treffen.

Ethische und rechtliche Risiken

Wenn Unternehmen bei der Entwicklung und Bereitstellung von KI-Systemen nicht auf Sicherheit und Ethik achten, riskieren sie Datenschutzverletzungen und verzerrte Ergebnisse. Zum Beispiel könnten verzerrte Trainingsdaten, die für Einstellungsentscheidungen verwendet werden, Geschlechter- oder Rassenstereotypen verstärken und KI-Modelle schaffen, die bestimmte demografische Gruppen gegenüber anderen bevorzugen.

 Zu den gängigen ethischen und rechtlichen Risiken gehören:

  • Mangelnde Transparenz: Unternehmen, die ihre KI-Systeme nicht transparent und verantwortungsvoll zu gestalten, riskieren, das Vertrauen der Öffentlichkeit zu verlieren.
  • Nichteinhaltung von regulatorischen Anforderungen: Die Nichteinhaltung von behördlichen Vorschriften wie der DSGVO oder branchenspezifischen Richtlinien kann zu hohen Bußgeldern und rechtlichen Sanktionen führen.
  • Algorithmische Verzerrungen: KI-Algorithmen können durch Trainingsdaten verzerrt werden, was zu potenziell diskriminierenden Ergebnissen wie verzerrten Personalentscheidungen und ungleichem Zugang zu Finanzdienstleistungen führen kann.
  • Ethische Dilemmas: KI-Entscheidungen können ethische Bedenken in Bezug auf Privatsphäre, Autonomie und Menschenrechte aufwerfen. Ein falscher Umgang mit diesen Dilemmata kann dem Ruf eines Unternehmens schaden und das Vertrauen der Öffentlichkeit untergraben.
  • Mangelnde Erklärbarkeit: Erklärbarkeit in der KI bezieht sich auf die Fähigkeit, Entscheidungen von KI-Systemen zu verstehen und zu rechtfertigen. Mangelnde Erklärbarkeit kann das Vertrauen beeinträchtigen und zu rechtlichen Prüfungen und Rufschädigung führen. Wenn beispielsweise der CEO eines Unternehmens nicht weiß, woher sein LLM seine Trainingsdaten bezieht, kann dies zu schlechter Presse oder behördlichen Untersuchungen führen.

Frameworks für das KI-Risikomanagement

Viele Unternehmen begegnen KI-Risiken, indem sie KI-Risikomanagement-Frameworks einführen, die aus einer Reihe von Richtlinien und Verfahren zur Risikobewältigung über den gesamten KI-Lebenszyklus bestehen.

Man kann sich diese Richtlinien auch als Playbooks vorstellen, die Richtlinien, Verfahren, Rollen und Verantwortlichkeiten in Bezug auf den Einsatz von KI in einem Unternehmen festlegen. Frameworks für das KI-Risikomanagement helfen Unternehmen dabei, KI-Systeme so zu entwickeln, bereitzustellen und zu warten, dass Risiken minimiert, ethische Standards eingehalten und die fortlaufende Einhaltung gesetzlicher Vorschriften gewährleistet werden.

Zu den am häufigsten verwendeten Frameworks für das KI-Risikomanagement gehören:

  • Das NIST AI Risk Management Framework
  • Die KI-Verordnung der EU
  • ISO/IEC-Standards
  • Die US Executive Order on AI

Das NIST AI Risk Management Framework (AI RMF)

Im Januar 2023 veröffentlichte das National Institute of Standards and Technology (NIST) das AI Risk Management Framework (AI RMF) (Link befindet sich außerhalb von ibm.com), um einen strukturierten Ansatz für das Management von KI-Risiken bereitzustellen. Das NIST AI RMF ist inzwischen zum Maßstab für das Risikomanagement im Zusammenhang mit künstlicher Intelligenz geworden.

Das Hauptziel des AI RMF besteht darin, Unternehmen dabei zu helfen, KI-Systeme so zu entwerfen, zu entwickeln, bereitzustellen und zu nutzen, dass Risiken effektiv gemanagt und vertrauenswürdige, verantwortungsvolle KI-Praktiken gefördert werden.

Das in Zusammenarbeit mit dem öffentlichen und privaten Sektor entwickelte AI RMF ist vollkommen freiwillig und kann in jedem Unternehmen, jeder Branche und jedem Land angewendet werden.

Das Framework gliedert sich in zwei Teile. Teil 1 bietet einen Überblick über die Risiken und Merkmale vertrauenswürdiger KI-Systeme. Teil 2, der AI RMF Core, skizziert vier Funktionen, die Unternehmen dabei helfen, Risiken von KI-Systemen zu bewältigen:

  • Regeln: Schaffung einer Unternehmenskultur des KI-Risikomanagements
  • Zuordnen: Einordnung der Risiken von KI in bestimmten Geschäftskontexten
  • Messen: KI-Risiken analysieren und bewerten
  • Verwalten: Umgang mit erfassten und bewerteten Risiken

EU AI Act

Der EU AI Act ist ein Gesetz, das die Entwicklung und Nutzung von künstlicher Intelligenz in der Europäischen Union (EU) regelt. Das Gesetz verfolgt bei der Regulierung einen auf Risiken basierenden Ansatz, indem es unterschiedliche Regeln für KI-Systeme anwendet, je nachdem, welche Bedrohungen sie für die menschliche Gesundheit, Sicherheit und Rechte darstellen. Das Gesetz erstellt auch gezielte Regeln für die Entwicklung, das Training und den Einsatz von KI-Modellen mit allgemeinem Verwendungszweck, wie z. B. die Foundation Models, auf denen ChatGPT und Google Gemini basieren.

ISO/IEC-Standards

Die International Organization for Standardization (ISO) und die International Electrotechnical Commission (IEC) haben Normen entwickelt (Link befindet sich außerhalb von ibm.com), die verschiedene Aspekte des KI-Risikomanagements behandeln.

ISO/IEC-Standards betonen die Bedeutung von Transparenz, Rechenschaftspflicht und ethischen Überlegungen im KI-Risikomanagement. Sie bieten auch umsetzbare Richtlinien für den Umgang mit KI-Risiken während des gesamten KI-Lebenszyklus – von der Konzeption und Entwicklung bis hin zur Bereitstellung und zum Betrieb.

Die US Executive Order on AI

Ende 2023 erließ die Biden-Regierung eine Durchführungsverordnung (Link befindet sich außerhalb von ibm.com) zur Gewährleistung der Sicherheit und des Schutzes von KI. Obwohl es sich hierbei technisch gesehen nicht um ein Framework für das Risikomanagement handelt, bietet diese umfassende Richtlinie Leitlinien für die Festlegung neuer Standards zum Risikomanagement im Zusammenhang mit KI-Technologie.

Die Durchführungsverordnung hebt mehrere zentrale Anliegen hervor, darunter die Förderung einer vertrauenswürdigen KI, die transparent, erklärbar und rechenschaftspflichtig ist. In vielerlei Hinsicht hat die Durchführungsverordnung dazu beigetragen, einen Präzedenzfall für den Privatsektor zu schaffen, und signalisiert die Bedeutung umfassender KI-Risikomanagementpraktiken.

Wie KI-Risikomanagement Unternehmen hilft

Der KI-Risikomanagementprozess variiert zwar zwangsläufig von Unternehmen zu Unternehmen, doch bei erfolgreicher Umsetzung können KI-Risikomanagementpraktiken einige gemeinsame Kernvorteile bieten.

Erhöhte Sicherheit

KI-Risikomanagement kann die Cybersicherheit eines Unternehmens verbessern und die Nutzung von KI-Sicherheit fördern.

Durch regelmäßige Risikobewertungen und Audits können Unternehmen potenzielle Risiken und Schwachstellen während des gesamten KI-Lebenszyklus identifizieren.

Nach diesen Bewertungen können sie Strategien zur Risikominderung umsetzen, um die erkannten Risiken zu reduzieren oder zu beseitigen. Dieser Prozess kann technische Maßnahmen umfassen, wie z. B. die Verbesserung der Datensicherheit und die Verbesserung der Robustheit des Modells. Der Prozess könnte auch organisatorische Anpassungen umfassen, wie die Entwicklung ethischer Richtlinien und die Stärkung der Zugangskontrollen.

Dieser proaktivere Ansatz zur Erkennung und Bekämpfung von Bedrohungen kann Unternehmen dabei helfen, Risiken zu minimieren, bevor sie eskalieren, und so die Wahrscheinlichkeit von Datenschutzverletzungen und die potenziellen Auswirkungen von Cyberangriffen zu verringern.

Verbesserte Entscheidungsfindung

KI-Risikomanagement kann auch dazu beitragen, die Entscheidungsfindung in einem Unternehmen insgesamt zu verbessern.

Durch eine Kombination aus qualitativen und quantitativen Analysen, einschließlich statistischer Methoden und Expertenmeinungen, können Unternehmen ein klares Verständnis ihrer potenziellen Risiken gewinnen. Diese umfassende Ansicht hilft Unternehmen dabei, Bedrohungen mit hohem Risiko zu priorisieren und fundiertere Entscheidungen über die Bereitstellung von KI zu treffen, wobei der Wunsch nach Innovation mit der Notwendigkeit der Risikominderung in Einklang gebracht wird.

Einhaltung von Vorschriften

Die zunehmende globale Fokussierung auf den Schutz sensibler Daten hat zur Schaffung wichtiger regulatorischer Anforderungen und Branchenstandards geführt, darunter die Datenschutz-Grundverordnung (DSGVO), der California Consumer Privacy Act (CCPA) und die KI-Verordnung der EU.

Die Nichteinhaltung dieser Gesetze kann zu hohen Geldstrafen und erheblichen rechtlichen Sanktionen führen. Das KI-Risikomanagement kann Unternehmen dabei helfen, die Vorschriften einzuhalten und ihren guten Ruf zu wahren, insbesondere da sich die Vorschriften im Zusammenhang mit KI fast so schnell weiterentwickeln wie die Technologie selbst.

Betriebliche Ausfallsicherheit

KI-Risikomanagement hilft Unternehmen, Störungen zu minimieren und die Geschäftskontinuität sicherzustellen, indem es ihnen ermöglicht, potenzielle Risiken mit KI-Systemen in Echtzeit anzugehen. Das KI-Risikomanagement kann auch zu mehr Verantwortlichkeit und langfristiger Nachhaltigkeit beitragen, indem es Unternehmen in die Lage versetzt, klare Managementpraktiken und -methoden für den Einsatz von KI festzulegen. 

Mehr Vertrauen und Transparenz

KI-Risikomanagement fördert einen ethischeren Ansatz für KI-Systeme, indem es Vertrauen und Transparenz in den Vordergrund stellt.

An den meisten KI-Risikomanagementprozessen sind zahlreiche Stakeholder beteiligt, darunter Führungskräfte, KI-Entwickler, Data Scientists, Benutzer, politische Entscheidungsträger und sogar Ethiker. Dieser integrative Ansatz trägt dazu bei, dass KI-Systeme verantwortungsvoll entwickelt und eingesetzt werden, wobei alle Stakeholder berücksichtigt werden. 

Laufende Tests, Validierung und Überwachung

Durch regelmäßige Tests und Überwachungsprozesse können Unternehmen die Leistung eines KI-Systems besser verfolgen und aufkommende Bedrohungen früher erkennen. Diese Überwachung hilft Unternehmen, die Einhaltung von Vorschriften kontinuierlich zu gewährleisten und KI-Risiken früher zu beheben, wodurch die potenziellen Auswirkungen von Bedrohungen verringert werden. 

KI-Risikomanagement zur Unternehmenspriorität machen

Trotz ihres Potenzials, die Arbeitsabläufe zu rationalisieren und zu optimieren, sind KI-Technologien keineswegs risikofrei. Fast jedes Element der Unternehmens-IT kann in den falschen Händen zu einer Waffe werden.

Unternehmen müssen generative KI jedoch nicht meiden. Sie müssen sie einfach wie jedes andere technologische Tool behandeln. Das bedeutet, die Risiken zu verstehen und proaktive Schritte zu unternehmen, um die Wahrscheinlichkeit eines erfolgreichen Angriffs zu minimieren.

Mit IBM watsonx.governance können Unternehmen KI-Aktivitäten ganz einfach auf einer integrierten Plattform steuern, verwalten und überwachen. IBM watsonx.governance kann generative KI-Modelle von jedem Anbieter verwalten, den Zustand und die Genauigkeit von Modellen bewerten und wichtige Compliance-Workflows automatisieren.

Autor