Interview: Absicherung von Künstlicher Intelligenz – wenn KI einmal versagt

 kannDer Einsatz von Künstlicher Intelligenz (KI) verbreitet sich zunehmend in der Industrie und in unserem Alltag. Die Chancen von KI überwiegen außerhalb sicherheitskritischer Bereiche. Die Wichtigkeit der Absicherung von Künstlicher Intelligenz innerhalb solcher Bereich nimmt jedoch zu. Was ist mit den Risiken, wenn beispielsweise ein Roboter in der Fertigung versagt und mit einer falschen Bewegung das Leben eines Arbeiters gefährdet? Oder wenn ein autonom fahrendes Fahrzeug eine rote Ampel überfährt und dadurch Fußgänger in eine lebensbedrohliche Situation bringt? Dr. Daniel Schneider, Abteilungsleiter Safety Engineering und Dr. Andreas Jedlitschka, Abteilungsleiter Data Engineering, erklären im Interview, wie das Fraunhofer IESE KI absichert.

Wie ist der aktuelle Forschungsstand auf dem Gebiet der Künstlichen Intelligenz?

Andreas Jedlitschka: Immer mehr Produkte enthalten Komponenten, die auf Künstlicher Intelligenz und maschinellen Lernverfahren beruhen. Dabei reicht die Bandbreite von Produkt- und Musikempfehlungen im Internet über die Unterstützung von Radiologen bei der Krebsdiagnostik hin zu Verkehrsschild- und Hinderniserkennung im Straßenverkehr. Weitere aktuelle Beispiele sind außerdem die Identifikation von Objekten in Bilddaten, die Erkennung menschlicher Sprache sowie automatische Textübersetzung.

Daniel Schneider: Dank Künstlicher Intelligenz rücken auch einstige Zukunftsvisionen, wie zum Beispiel autonome Fahrzeuge, in greifbare Nähe.

Welche Fragen zur Absicherung von Künstlicher Intelligenz sind noch nicht abschließend geklärt?

Daniel Schneider: Es wird schnell deutlich, dass bei abnehmender Möglichkeit menschlicher Einflussnahme das Risiko einer Fehlfunktion beziehungsweise der Gefährdung der Umwelt durch das System selbst minimiert werden muss. In solchen Fällen nimmt die Relevanz der Absicherung von Künstlicher Intelligenz zu. Damit ist auch die Frage verbunden, in welcher Form ein Nachweis der Sicherheit erbracht werden kann. Die Frage stellt sich überall dort, wo ein Versagen einer maschinell erlernten Lösung hohe Risiken mit sich bringt, besonders für die körperliche Unversehrtheit von Menschen. Dies erfordert spezielle Maßnahmen zur Garantie der Sicherheit von Systemen mit KI-Anteilen, wobei Sicherheit hier nicht nur funktionale Sicherheit umfasst, sondern auch die grundsätzliche Sicherheit der Normalfunktion.

Andreas Jedlitschka: Ein hoher Stellenwert kommt dabei unter anderem der Qualität der Daten zu, die für das Training von neuronalen Netzwerken verwendet werden. Trotzdem können in offenen Umgebungen auch immer Situationen auftreten, die bei der Entwicklung eines technischen Systems nicht berücksichtigt wurden. Die Fähigkeit, mit solchen Situationen umzugehen und auch in diesen ein verlässliches Verhalten zu zeigen, wird als Resilienz bezeichnet. Am Fraunhofer IESE werden Technologien und Methoden entwickelt, die Ingenieure bei der Erstellung solcher verlässlichen und oft sicherheitskritischen Systeme unterstützen.

Was bedeutet Absicherung von Künstlicher Intelligenz überhaupt?

Daniel Schneider: Sicherheit bedeutet im Allgemeinen nicht, dass kein Schaden entstehen kann, sondern, dass das Risiko akzeptabel ist. Bleiben wir im Zusammenhang mit Künstlicher Intelligenz bei dem Beispiel selbstfahrender Autos, stellt sich dort etwa die Frage, welches Restrisiko akzeptiert werden kann – was aktuell noch nicht abschließend geklärt ist. Bestimmt will man aber zumindest sicherstellen, dass autonome Fahrzeuge deutlich weniger Unfälle als von Menschen gesteuerte Autos verursachen. Unabhängig davon, wie gut autonomes Fahren zukünftig funktioniert, wird die Zahl der Unfälle wohl nie ganz auf Null zurückgehen. Auch ein schnell reagierendes automatisiertes System braucht ja zum Beispiel je nach Geschwindigkeit einen gewissen Bremsweg und es kann auch in Zukunft vermutlich nicht jede Verkehrssituation (z.B. mit Fußgängern) vorhergesehen werden. Daher wird es immer ein Restrisiko geben, mit dem eine Gesellschaft leben muss.

Welche Rolle kann die Absicherung von Künstlicher Intelligenz bei der Risikominimierung spielen?

Daniel Schneider: Sicherheitsrelevante Entscheidungen in Autos werden zunehmend von Software getroffen. Dort wird beispielsweise festgelegt, welche der möglichen Reaktionen in welcher der zu erwartenden Situationen am besten geeignet ist, und es wird überprüft, dass die Software das erwünschte Verhalten auch tatsächlich leistet. Allerdings funktioniert dies nur, solange die Situationen im Voraus bekannt sind, sodass die Reaktionen darauf in der Software festgelegt werden können.

Andreas Jedlitschka: Wenn die Situationen zu kompliziert und zahlreich sind, um alles vorab festzulegen, können Verfahren der Künstlichen Intelligenz weiterhelfen. Hier gibt es sehr leistungsfähige, die oft erstaunlich gute Lösungen liefern. Allerdings ist nicht sichergestellt, dass ein KI-Verfahren verlässlich stets gute Ergebnisse liefert. Das ist jedoch eine Forderung, die man an ein autonomes Fahrzeug stellen wird.

Daniel Schneider: Denkbar sind vielleicht auch kombinierte Ansätze, in welchen zum Beispiel eine KI-Komponente sich anbahnende gefährliche Situationen frühzeitig erkennt und so eine Art vorausschauendes Fahren ermöglicht. Allerdings darf die KI-Komponente dabei nie die letzte Ebene der Verteidigung sein.

Wie kann man mit diesem Wissen um die Restunsicherheit umgehen und worauf muss geachtet werden?

Andreas Jedlitschka: Der Ausschluss erkennbarer Fehlerquellen und eine möglichst verlässliche Einschätzung der Unsicherheit im bereitgestellten Ergebnis sind hier essenziell. Eine datengetriebene Komponente zur Verkehrsschildererkennung sollte beispielsweise nicht nur die Information liefern, dass ihre Auswertung verfügbarer Daten auf das Vorhandensein eines Vorfahrtsschildes schließen lässt, sondern auch Informationen über das Maß an Unsicherheit in dieser Auswertung. Zum Beispiel bietet das Wissen um schlechte Lichtverhältnisse oder eine verschmutzte Kameralinse allein wenig Informationsgewinn bei der korrekten Bestimmung eines Verkehrsschilds; es hilft aber dabei, die Unsicherheit im bereitgestellten Ergebnis zu beurteilen. Dies trägt entscheidend zu einer besseren Nachvollziehbarkeit der von KI getroffenen Entscheidungen und Ergebnisse bei, sodass sich diese bei Bedarf auch hinterfragen lassen. Und das hat wiederum Einfluss auf die Genauigkeit künftiger Entscheidungen.

Was passiert, wenn KI-Lösungen doch einmal versagen?

Daniel Schneider: Eine Strategie kann darin bestehen, die künstlich intelligenten Systeme mit konventioneller Software zu überwachen. Oft ist es viel einfacher zu überprüfen, ob eine Reaktion sicher ist, als die Reaktion selbst zu bestimmen. Übertragen auf das selbstfahrende Auto bedeutet das, dass eine KI-Lösung mit all ihren Stärken und Schwächen dazu genutzt werden könnte, mit komplizierten Sachverhalten umzugehen. Und sollte diese KI-Lösung einmal versagen, so könnte eine konventionelle Software verhindern, dass daraus eine unsichere Situation entsteht. Diese Software bildet quasi den Rettungsschirm. Weil es sich dabei um »normale« Software handelt, kann deren Funktion genau nachvollzogen werden, sodass ein Versagen der KI-Lösung ohne ernste Folgen bleibt. Künstliche Intelligenz kann also selbstfahrende Autos weitgehend sicher machen, wenn sie mit klassischen Algorithmen verbunden bleibt. So behält der Ingenieur auch in Zukunft die Kontrolle, nicht allein der Computer.

Kann man also davon ausgehen, dass KI in sicherheitskritischen Systemen eine stärkere Akzeptanz finden wird?

Andreas Jedlitschka: Ja, davon bin ich überzeugt. Der eben beschriebene Rettungsschirm wird in Kombination mit neuen Verfahren aus der KI-Welt dabei helfen, einsatzfähige, sichere Systeme zu entwickeln und zu betreiben. Dazu arbeiten wir zum Beispiel an automatisierten Verfahren zur Beurteilung und Sicherstellung der Datenqualität beim Lernen und Benutzen von KI sowie an der Erweiterung der Verfahren um eine Selbsteinschätzung bezüglich der Unsicherheit des Ergebnisses durch die KI-Komponente. Eine kürzlich durchgeführte Studie hat gezeigt, dass die Entwicklungsprozesse für die KI-Komponenten Einfluss auf die Sicherheit haben – somit ist nicht jeder KI-Ansatz gleich gut für unterschiedliche Datenqualitäten geeignet. Zusammenfassend denke ich, dass ein besseres Verständnis der Chancen und Risiken von KI im Allgemeinen auch zu einer stärkeren Verbreitung führt. Wichtig ist: Auch bei der KI gilt, die Chancen zu nutzen, ohne die Risiken außer Acht zu lassen.

Das Interview führte Claudia Reis,
Pressereferentin Fraunhofer IESE.