Sicherheit autonomer Systeme als Netzwerk: Warum Sicherheit bei KI neu gedacht werden muss

Interview mit Dr. Rasmus Adler, Research Manager »Autonome Systeme« am Fraunhofer IESE

In einem Presseinterview haben Sie mal gesagt, dass autonome Systeme erst richtig funktionieren, wenn man ihre Grenzen versteht. Wie unterscheidet sich KI-basierte Sicherheit von klassischer Safety?

Bei klassischen Systemen kann man nahezu jede Ausführungsbedingung testen. Systeme, die auf Künstlicher Intelligenz basieren, arbeiten hingegen mit Wahrscheinlichkeiten – das lässt sich nicht vollständig durch Tests abdecken. Die Frage lautet daher nicht »Wie mache ich KI perfekt?«, sondern »Wie mache ich KI beherrschbar?«. Sicherheit entsteht durch messbare Unsicherheiten, klar definierte Einsatzgrenzen und transparente Qualitätskennzahlen. Hier setzt unser Ansatz an: Wir quantifizieren Restfehler und entwickeln Methoden, um die Qualität von KI-Systemen in sicherheitskritischen Kontexten zuverlässig messbar zu machen. Dazu gehören z.B. Model-based Safety-Engineering-Werkzeuge wie unser Tool safeTbox, die die Integration funktionaler Sicherheit in komplexe Systeme unterstützen.

Die Öffentlichkeit nimmt oft einzelne Vorfälle wahr und schließt daraus auf generelle Unsicherheit. Wie begegnet man dieser Erwartungshaltung?

Menschen verzeihen Fehler bei Maschinen deutlich weniger als bei Menschen. Ein einziger Vorfall kann Vertrauen nachhaltig beschädigen, auch wenn Millionen anderer Situationen korrekt verlaufen. Deshalb brauchen wir nicht nur robuste Technik, sondern auch Erklärbarkeit und Nachvollziehbarkeit – das heißt, Systeme müssen nicht nur funktionieren, sondern auch darlegen können, warum Entscheidungen getroffen wurden. Zusätzlich arbeiten wir an Konzepten wie AI-gestützter Sicherheits- und Risikoanalyse, etwa im Projekt QAI4SE, das zeigt, wie KI selbst helfen kann, Unsicherheiten früher zu erkennen und Sicherheitsanalysen effizienter zu machen.

Ein zentrales Thema ist die Verzahnung von Safety und Security – wie sehen Sie diese Verbindung?

Safety und Security dürfen nicht isoliert gedacht werden. Cyberangriffe auf autonome Systeme können direkt sicherheitsrelevant werden – ein manipuliertes Sensordatenbild führt schnell zu falschen Entscheidungen. Deshalb betreiben wir am IESE integrierte Safety-und-Security-Forschung, die beide Disziplinen zusammenführt, statt sie getrennt zu behandeln. Security-Engineering-Methoden, die Systeme und Daten gegen Angriffe schützen, sind heute ein Grundpfeiler funktionaler Sicherheit.

Wie übersetzt sich diese Forschung in konkrete Lösungen für die Praxis?

Unsere Lösungen reichen von modularer Risiko- und Sicherheitsarchitektur bis zu konkreten Werkzeugen für Entwickler und Betreiber. Neben safeTbox zur Absicherung sicherheitskritischer Systeme bieten wir z.B. Konzepte und Tools für die daten­basierte Sicherheitsanalyse, die Entwickler dabei unterstützen, frühzeitig Risiken zu identifizieren. Im Predictive Autonomy Lab arbeiten wir zudem an empirischen Methoden zur besseren Erfassung von menschlicher Assistenz und Fahrerzuständen, um Systeme mit realistischen Verhaltensmodellen abzustimmen.

Gesetzgebung wie die EU-KI-Verordnung und der Cyber Resilience Act verschärfen Anforderungen. Was bedeutet das für Unternehmen?

Diese Regulierungen verlangen nicht nur technische Nachweise, sondern auch organisatorische und prozessuale Maßnahmen – und das über den gesamten Lebenszyklus eines Systems. Betreiber und Hersteller müssen gemeinsam Risiken bewerten und absichern. Funktionale Sicherheit allein reicht nicht mehr; sie muss durch kontinuierliche Überwachung, Security-Updates und geeignete Risikoargumentation ergänzt werden.

Ein Beispiel unserer Arbeit ist das Projekt LOPAAS (Layers of Protection Architecture for Autonomous Systems). Dort entwickeln wir gemeinsam mit Partnern neue Architekturkonzepte, die Safety-Argumentationen für autonome Fahrzeuge unterstützen und in Normungsgremien eingebracht wurden – ein Schritt hin zu standardisiertem, praxisnahem Sicherheitsnachweis.

Damit sprechen Sie eine strukturelle Verschiebung an. Wie verändert sich dabei die Zusammenarbeit zwischen Hersteller und Betreiber?

Sicherheit ist heute kein singuläres Produktmerkmal mehr, sondern ein gemeinsamer Prozess. Hersteller bringen technische Kompetenz ein, Betreiber Kenntnis des realen Einsatzumfelds. Regulatoren legen Rahmenbedingungen fest. Nur wer diese Perspektiven zusammenbringt, kann tragfähige Sicherheitskonzepte entwickeln. Diese gemeinsame Verantwortung ist kein elegant formulierter Begriff – sie ist technische und organisatorische Realität.

Zum Schluss: Wie kann man objektiv erkennen, ob ein autonomes System »sicher genug« ist?

Das ist das zentrale Spannungsfeld: Es gibt keine absolute Sicherheit. Aber es gibt messbare Ergebnisse – über Risikoanalysen, Einsatzgrenzen, kontinuierliche Monitoringprozesse, Test- und Validierungsframeworks. Ob ein System »sicher genug« ist, hängt vom Kontext ab, vom Risiko, das die Gesellschaft akzeptiert, und davon, wie transparent Entscheidungen getroffen werden. Sicherheit ist kein Zustand – sie ist ein kontinuierlicher, gesteuerter Prozess.