KI-Verordnung & funktionale Sicherheit: So gelingt die rechtskonforme Umsetzung von Innovationen

Die neue EU-KI-Verordnung (AI Act) verändert die Spielregeln für alle, die KI-basierte Innovationen auf den Markt bringen wollen. Doch keine Innovation ist auch keine Lösung – das gilt insbesondere in den aktuellen Zeiten mit immer kürzer werdenden Innovationszyklen und disruptiven Innovationen, die ganze Märkte verändern. Ihr Unternehmen hat dies erkannt und die nächste geniale Innovation in Entwicklung? Allerdings basiert Ihre Innovation auf Künstlicher Intelligenz (KI) und die funktionale Sicherheit ist davon betroffen – vielleicht ein KI-basiertes Verhalten eines autonomen Operationsroboters oder ein KI-basierter Cloud-Dienst, der autonome Maschinen mit sicherheitsrelevanten Informationen versorgt. Bevor die Entwicklung richtig durchstarten kann, bremst die Rechtsunsicherheit alles aus. Sie stehen im Regulierungsdschungel mit neuem KI-Gesetz, Maschinenverordnung, Cyberresilienz-Verordnung (CRA) und Co. Und Sie fragen sich: Wie bringe ich mein Produkt konform zu diesen Gesetzgebungen auf den europäischen Markt? Anforderungen überlappen sich, Begriffe sind schwammig und der Weg zur Marktfreigabe Ihrer Innovation fühlt sich wie ein Labyrinth an. Doch Sie sind damit nicht allein!

Wir zeigen Ihnen in diesem Blogbeitrag, wie Sie die Rechtsunsicherheit bei der Bewertung der Funktionalen Sicherheit Ihrer Innovationen minimieren können. Lassen Sie uns gemeinsam dafür sorgen, dass Ihre Innovation nicht nur smart, sondern auch sicher und gesetzeskonform ist!

KI-Innovationen im Spannungsfeld von Fortschritt und EU-Regulierung

Wir erleben derzeit ein exponentielles Wachstum der Innovationsgeschwindigkeit, insbesondere durch die Fortschritte im Bereich der KI und der Vernetzungstechnologien wie 5G. Beliebige Sensoren und Aktuatoren können miteinander vernetzt werden, um Abläufe in der realen Welt zu steuern. Die Steuerung wird dabei schnell so komplex, dass sie nicht länger durch einfache Wenn-dann-Regeln ausgedrückt werden kann. Methoden der KI werden eingesetzt, um diese Komplexität zu beherrschen. Aber wie sehr kann man auf die Informationen und Entscheidungen von KI-basierten Systemen vertrauen?

Europa setzt auf das Vorsorgeprinzip. Mit proaktivem Risikomanagement soll verhindert werden, dass unsichere (KI-basierte) Produkte auf den Markt kommen. Dazu gibt es eine Reihe von Verordnungen (KI-Verordnung, Maschinenverordnung oder die Cyberresilienz-Verordnung), die grundlegende Sicherheitsanforderungen festlegen. Diese Sicherheitsanforderungen sind bewusst etwas unscharf formuliert, um viele Fälle abzudecken und möglichst technologieoffen zu sein. Dies erschwert jedoch die Umsetzung in der Praxis.

Die Kernfrage: Erfüllt mein Produkt alle grundlegenden Sicherheitsanforderungen?

Ob ein Produkt die grundlegenden Sicherheitsanforderungen der EU-Verordnungen erfüllt, lässt sich oft nur schwer beurteilen. Die Unsicherheit ist groß – insbesondere bei Hochrisiko-KI-Systemen, wie sie im AI Act definiert sind. Auch wenn sich diese Rechtsunsicherheit nicht vollständig beseitigen lässt, kann sie durch frühzeitiges Risikomanagement und gezielte Maßnahmen zur funktionalen Sicherheit deutlich reduziert werden.

Warum rechtskonforme Umsetzung von KI-Innovationen entscheidend ist

1. Voraussetzung für die Markteinführung:
   Ein Produkt, das die grundlegenden Sicherheitsanforderungen nicht erfüllt, darf nicht in Europa vermarktet werden. Eine innovative Idee wird also erst zu einer echten Innovation, wenn alle Sicherheitsanforderungen erfüllt werden können.
2. Haftungsrisiken und Rufschädigung:
   Je gewissenhafter und zweifelloser die Sicherheitsanforderungen erfüllt wurden, desto geringer ist die Wahrscheinlichkeit, dass Unfälle passieren und der Hersteller für die entstandenen Schäden haften muss oder sein Ruf beschädigt wird.

KI-Verordnung, CRA & Co: Diese EU-Vorgaben beeinflussen Ihre Produktsicherheit

Eine Innovation trifft auf ein Regelwerk mit vielen Abhängigkeiten und Fristen

1. KI Verodnung (AI Act)

Das EU-KI-Gesetz basiert auf einem risikobasierten Ansatz. Je höher das Risiko, desto mehr und desto stringentere Anforderungen müssen erfüllt werden. Artikel 6 beschreibt die Einstufungsvorschriften für Hochrisiko-KI-Systeme. Nach Absatz 1 können KI-Systeme aufgrund ihrer Safety-Relevanz als Hochrisiko-KI-Systeme eingestuft werden. Für die Einstufung ist der Bezug zu anderen Richtlinien und Verordnungen relevant. Diese sind in Anhang 1 gelistet und beinhalten unter anderem Verordnungen bezüglich Medizinprodukten, Maschinen, Kraftfahrzeugen, Schiffsausrüstung etc.

Nach Absatz 1 Artikel 6 gilt ein KI-System als Hochrisiko-KI-System, wenn die beiden folgenden Bedingungen erfüllt sind:

• Kriterium 1: Das KI-System soll als Sicherheitsbauteil eines unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder das KI‑System ist selbst ein solches Produkt;
• Kriterium 2: Das Produkt, dessen Sicherheitsbauteil gemäß Kriterium 1 das KI‑System ist, oder das KI‑System selbst als Produkt muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden.

Diese Kriterien werfen Fragen auf. Beispielsweise weist die Studie in [1] auf folgende Unklarheiten hin:

1. Es ist unklar, welche Systemgrenze bei der Feststellung, ob ein KI-System als Sicherheitsbauteil eingesetzt ist, gilt. Bei vorausschauender Wartung ist das KI-System häufig nicht Teil  des zu wartenden Produkts.
2. Es ist unklar, welche Definition von »Sicherheitsbauteil« mit Blick auf sektorspezifische Standards (z.B. Automotive, Medizinprodukte), Gesetze (z.B. BSI-Gesetz §2 (13)) oder Richtlinien (z.B. 2014/33/EU über Aufzüge und Sicherheitsbauteile für Aufzüge, Anhang 3) anzuwenden ist.
3. Es ist unklar, ob ein KI-System für eine sicherheitskritische Funktion kein Sicherheitsbauteil ist, wenn es dafür redundante Maßnahmen gibt, die bei einem Ausfall oder Fehler des KI-Systems »einspringen« und einen Schaden verhindern.
   In [2] wird darauf hingewiesen, dass
4. es unklar ist, ob die Erfüllung von Kriterium 2 von dem Vorhandensein von harmonisierten Normen abhängt. Harmonisierte Normen können eine Herstellerselbsterklärung ermöglichen und somit hängt die Notwendigkeit einer Konformitätsbewertung durch Dritte von der Existenz von harmonisierten Normen ab.

Ab dem 2. August 2026 gelten die Vorschriften für Betreiber von Hochrisiko-KI-Systemen. Es bleibt also nicht mehr viel Zeit, um solche Unklarheiten zu klären.

2. Cyber Resilience Act (CRA)

Die Cyberresilienz-Verordnung (CRA) dient der Erweiterung des europäischen Produktrechts um Cybersicherheitsaspekte für Produkte mit digitalen Elementen. Der CRA ist am 12.03.2024 in Kraft getreten und am 11. Dez. 2027 endet die Übergangsfrist, um ihn anzuwenden. Nicht im Anwendungsbereich sind Fahrzeuge, Luftfahrzeuge, Schiffsausrüstung, Medizinprodukte und In-vitro-Diagnostik. Der CRA zielt auf »Secure by Design« ab. Das bedeutet, dass er Security ganz konkret und explizit als Anforderung in den gesamten Entwicklungsprozess einbezieht. Weiterhin enthält er umfangreiche »Meldepflichten« wie die Meldung von Schwachstellen und Sicherheitsvorfällen. Ein Bezug zur KI-Verordnung besteht insofern, dass die KI-Verordnung auch Cyber Security von KI-Systemen fordert. Eine Security-Norm, die beide Rechtsakte adressiert und deren grundlegenden Anforderungen in konkretere technische Anforderungen übersetzt, wäre aus technischer Sicht denkbar. Eine Norm, die einen Rechtsakt adressiert, sollte aber die Terminologie des Rechtsaktes übernehmen. Diese Bedingung kann nicht erfüllt werden, wenn man mit einer Norm beide Rechtsakte adressieren will, da der zentrale Begriff des Risikos eine unterschiedliche Bedeutung in den beiden Rechtsakten hat. Dies ist nur einer von vielen Gründen, warum es sich schwierig gestaltet, »zwei Fliegen mit einer Klappe zu schlagen«.

3. Maschinenverordnung

Die neue Maschinenverordnung (EU 2023/1230) legt Sicherheitsanforderungen für Maschinen fest, inkl. autonomer und vernetzter Systeme. Sie definiert »selbst entwickelndes Verhalten« und »autonome mobile Maschinen«, aber vermeidet den Begriff »KI-System«. Wie beim CRA erschwert auch hier die unterschiedliche Taxonomie die Schnittstelle zur technischen Normung.

4. Medizinprodukteverordnung (MDR)

Die Medizinprodukteverordnung ist ein etablierter Rahmen für Medizinprodukte. Ein KI-System oder eine Maschine können natürlich einen medizinischen Zweck haben und somit unter die MDR fallen. Ein Operationsroboter könnte man sogar aus der Perspektive von allen drei Rechtsakten betrachten, wobei der medizinische Zweck und somit die MDR im Vordergrund stehen würde.

Die Bedeutung der Funktionalen Sicherheit im Regulierungskontext

Funktionale Sicherheit bezieht sich auf das sichere Verhalten von technischen Systemen.

• Ein Operationsroboter muss sich beispielsweise bei einer Operation so verhalten, dass keine inakzeptablen Risiken für den Patienten entstehen.
• Ein autonomes Fahrzeug muss sich im Straßenverkehr so verhalten, dass keine inakzeptablen Risiken für die Insassen und andere Verkehrsteilnehmer entstehen.

Für die Sicherheit eines Produkts spielen noch weitere Aspekte eine Rolle, wie beispielsweise die Abwesenheit von gesundheitsschädlichen Materialien. Die Funktionale Sicherheit ist somit nur ein Teilaspekt der Produktsicherheit. Regulierungen für die Produktsicherheit wie die Maschinenverordnung überlassen weitgehend der technischen Normung, wie die funktionale Sicherheit erreicht werden soll. Der Grundgedanke hierbei ist, dass das »Wie« technische Details sind, die von einer möglichst technologieoffenen Regulierung nicht vorgegeben werden sollten. Die KI-Verordnung weicht von diesem Grundgedanken ab und rückt dadurch die funktionale Sicherheit stärker in den Fokus der Regulierung.

Überlappende Vorschriften und unterschiedliche Definitionen

Ein Produkt wie ein OP-Roboter kann im Schnittpunkt von mehreren Regulierungen wie Medizinprodukteverordnung, Maschinenverordnung und KI-Verordnung liegen – alle mit Implikationen für die funktionale Sicherheit.
Da verliert man schnell den Überblick und die zentrale Frage aus dem Auge:
Was ist das optimale Bündel an risikoreduzierenden Maßnahmen im Hinblick auf Markteinführung, Haftung und/oder Rufschädigung?

Harmonisierte Normen: Weg zur Konformitätsvermutung und Rechtsklarheit

Voraussetzung für die Markteinführung ist, dass Produkte die grundlegenden Gesundheits- und Sicherheitsanforderungen aus den Rechtsakten erfüllen. Harmonisierte Normen konkretisieren diese Anforderungen. Sie beschreiben, mit welchen technischen Regeln und Risikomanagementmaßnahmen die grundlegenden Anforderungen erfüllt werden können. Bei Konformität zu diesen Normen kann man deswegen davon ausgehen, dass die Forderungen der Gesetze und Verordnungen erfüllt sind. Dieser Umstand wird in der Rechtssprache als das »Auslösen der Vermutungswirkung« bezeichnet und ist im New Legislative Framework verankert. Harmonisierte Normen sind somit keine zusätzliche Hürde, sondern eher ein wichtiges Hilfsmittel, um gesetzliche Hürden sicher zu überwinden.

Aktuelle Herausforderungen in der KI-Normung: Wo Rechtsunsicherheit persistiert

Die Umsetzung des New Legislative Framework birgt aber auch eine Reihe von Herausforderungen:

Hoher Abstraktionsgrad der Normen

Die Konkretisierung der Anforderung gestaltet sich schwierig – insbesondere in Bezug auf das Risikomanagement von KI-Systemen.

Das hat viele Gründe:

1. Das Risikomanagement soll für verschiedene Arten von Risiken sinnvoll anwendbar sein, wie Safety-Risiken für Leib und Leben und Risiken im Hinblick auf Ungleichbehandlung.
2. Das Risikomanagement soll für verschiedene Sektoren sinnvoll anwendbar sein, wie die Medizintechnik und die Automatisierungstechnik.
3. Das Risikomanagement soll Safety und Security Aspekte umfassen und die beiden Welten des Risikomanagements vereinen. Dieses Anliegen gibt es nicht nur im Kontext von KI-Systemen, aber selbst bei herkömmlichen Systemen ist dies nach jahrzehntelangen Bestrebungen Safety und Security zusammenzubringen nicht umgesetzt worden.
4. Das Risikomanagement soll auch anwendbar sein, wenn ein KI-System als Sicherheitsbauteil fungiert, obwohl eigentlich erst noch weiter erforscht werden muss, wie ein KI-System den Qualitätsanspruch an Sicherheitsbauteilen genügen kann: Man kann nicht normieren, was bisher nicht erforscht wurde.

Verzögerungen und unfertige Normen

Diese genannten Gründe führen auch dazu, dass die Entwicklung der Normen länger dauert als geplant und sie nicht rechtzeitig mit der gewünschten Konkretheit fertig werden. Solange die Normen nicht fertig sind, können sie auch nicht genutzt werden, um die Vermutungswirkung auszulösen.

Komplexität der Normungslandschaft

Die Normungslandschaft wird häufig mit einem Dschungel verglichen, indem man sich zunächst zurechtfinden muss. Sie gleicht aber auch einem Flickenteppich, der aus unzähligen Stoffstücken zusammengenäht ist. Jedes Stück stammt aus einer anderen Zeit, aus einem anderen Material, mit eigenen Mustern, Farben und Strukturen. Manche Stoffe sind robust, andere reißen leicht. Einige passen gut zueinander – andere beißen sich regelrecht. Die KI entwickelt sich schneller, als wir neue Stoffstücke anbringen können. Einige Materialien sind so verschieden, dass sie sich gar nicht vernähen lassen, ohne dass etwas reißt.

Insbesondere bei KI und Safety prallen verschiedene Welten aufeinander. Dies liegt mitunter an dem hohen Qualitätsanspruch an herkömmliche, sicherheitskritische Software. Das Qualitätsmaß wird über erreichte Sicherheitsintegritätslevel wie SIL, ASIL, PL oder AgPL ausgedrückt. Es fasst zusammen, welche Maßnahmen getroffen wurden. Aber diese Maßnahmen sind nicht oder nur sehr bedingt anwendbar für KI-Systeme. Wenn man nun neue Maßnahmen für KI-Systeme festlegt, dann stellt sich die Frage, wie man die Effektivität der unterschiedlichen Maßnahmen vergleichen kann – ohne »Äpfel mit Birnen« zu vergleichen.

Angewandte Sicherheitsforschung: Konkrete Lösungsansätze zur Minimierung der Rechtsunsicherheit

Solange es noch keine (harmonisierten) Normen gibt, die vorgeben, welche konkreten Risikomanagementmaßnahmen ausreichen, besteht eine große Restunsicherheit bezüglich der Angemessenheit der gewählten Maßnahmen.
Um diese Restunsicherheit zu minimieren, empfehlen wir in einer Sicherheitsargumentation darzulegen, warum die gewählten Maßnahmen ausreichend sind, und mit dieser Argumentation frühzeitig auf die betreffende Prüforganisation zuzugehen. Wenn sie bisher wenig Erfahrung mit der Erstellung von Sicherheitsargumentationen haben oder nicht wissen, wie sie die KI-spezifischen Aspekte adressieren sollen, dann helfen wir gerne weiter.

In der Argumentation sollten sie die Inhalte von technischen Regelwerken berücksichtigen. Dazu zählen sektorübergreifende Regelwerke wie

• ISO/IEC TR 5469 »Functional Safety and AI systems«
• oder VDE AR 2842-61 »Development and trustworthiness of autonomous/cognitive systems«
• aber auch sektorspezifische Regelwerke wie ISO PAS 8800 »Road vehicles – Safety and artificial intelligence«
• oder IEC/TR 60601 »Guidance and interpretation – Medical electrical equipment and medical electrical systems employing a degree of autonomy«.

Die Sicherheitsargumentation kann auch darstellen, dass quantitative Kenngrößen wie die Unsicherheit von KI-Systemen den quantitativen Sicherheitszielen des Gesamtsystems genügen [3].

Fazit & Ausblick: Proaktive Strategien für sichere und rechtskonforme KI-Innovationen

Die KI-Verordnung (AI Act) stellt neue Maßstäbe für die Entwicklung und Bewertung sicherer, rechtskonformer KI-Systeme. Wer frühzeitig die funktionale Sicherheit berücksichtigt, regulatorische Überschneidungen versteht und wissenschaftlich fundierte Sicherheitsargumentationen entwickelt, verschafft sich nicht nur Marktzugang – sondern auch Vertrauen bei Kundinnen, Partnern und Prüforganisationen.

Safety rechtzeitig berücksichtigen

Safety kann man nicht nachträglich in ein System hinein testen. Um zu verstehen, was man bereits in den frühen Phasen der Entwicklung berücksichtigen muss, ist es notwendig, bereits in der Konzeptphase herauszufinden, welche grundlegenden Gesundheits- und Sicherheitsanforderungen relevant sind, und wie sie erfüllt werden können. Das gilt insbesondere für die funktionale Sicherheit von KI-basierten Systemen.

Den Stand der Wissenschaft und Normung beachten

Man kann nicht normieren, was bisher nicht erforscht wurde. So gesehen ist die angewandte Forschung eine Vorstufe der Normung. Die Zusammenarbeit mit dem Fraunhofer IESE ermöglicht Ihnen, den aktuellen Stand der Forschung bei der Sicherheitsauslegung Ihrer Innovationen zu berücksichtigen, konform zu den aktuellen Regelwerken zu sein und neue Standards bezüglich Sicherheit zu setzen. Das ist ein entscheidender Wettbewerbsvorteil bei vielen KI-Produkten.

Ihr Weg zur Rechtssicherheit

Ob ihre KI-Innovation sicher genug ist im Hinblick auf die Markteinführung und Haftungsrisiken, hängt von Gesetzestexten und deren Auslegung ab. Letztlich hängt es aber auch maßgeblich davon ab, welches Sicherheitsniveau ihre KI-Innovation erreicht hat. Dies ist auch entscheidend im Hinblick auf potenzielle Rufschädigungen. Kunden wollen sichere Produkte – egal ob KI im Spiel ist oder nicht. Wenn ein Hersteller im Schadensfall nicht haftet, dann weiß der Kunde zwar, dass der Hersteller das Recht auf seiner Seite hat, aber seine Zufriedenheit mit dem Produkt hält sich sicherlich in Grenzen. Der sinnvollste Weg zur Rechtssicherheit ist somit die Beherrschung der technischen Restrisiken unter Berücksichtigung des Stands der angewandten Sicherheitsforschung.

 

Quellen

[1] AI Act: Risikoklassifizierung von KI-Anwendungen aus der Praxisperspektive: https://www.appliedai.de/insights/ai-act-risikoklassifizierung-von-ki-systemen-aus-einer-praktischen-perspektive
[2] F. Wolny, S. Vock, R. Adler, T. Holayad, The Need for Systematic Approaches in Risk Assessment of Safety-Critical AI-Applications in Machinery, 35th European Safety and Reliability Conference (ESREL2025), June 2025, Stavanger, Norway
[3] Kläs, M., Adler, R., Jöckel, L., Gross, J., Reich, »Using Complementary Risk Acceptance Criteria to Structure Assurance Cases for Safety-Critical AI Components«, AISaftey 2021 at International Joint Conference on Artifical Intelligence (IJCAI), Montreal, Canada, 2021