Verlässliche KI / Dependable AI –
ganzheitliches Engineering zuverlässiger KI-Systeme

Von der KI-Strategie über die KI-Entwicklung bis zur KI-Absicherung bzw. zum KI-Testing und KI-Auditing

Künstliche Intelligenz (KI) steckt heutzutage bereits in vielen Systemen: vom Sprachassistenten bis hin zu intelligenten Algorithmen, die unser Verhalten beim Online-Shopping oder in Social Media auswerten. In Zukunft werden uns KI-Systeme noch viel häufiger begegnen und das insbesondere in kritischen Anwendungsfeldern, wie autonomem Fahren, Produktionsautomatisierung/Industrie 4.0 oder Medizintechnik. Hier spielt Dependable AI – also die Beherrschung des Risikos von nicht akzeptablen Fehlern und Fehlverhalten von KI-Systemen – eine wichtige Rolle. Das Fraunhofer IESE berät und unterstützt Unternehmen beim Engineering verlässlicher KI-Systeme und begleitet sie über den gesamten Lebenszyklus hinweg: von der KI-Strategie über die KI-Entwicklung bis zur KI-Absicherung bzw. zum KI-Testing/Auditing und zur Erfüllung der gesetzlichen und normativen Vorgaben.

Dependable AI / Verlässliche KI, Fraunhofer IESE
© iStock.com/Shulz

Wofür interessieren Sie sich?

Sie wollen Künstliche Intelligenz für Ihre Systeme einsetzen? Wir geben Ihnen Antworten auf die wichtigsten Fragen. Springen Sie über das Inhaltsverzeichnis zum nächsten Thema.

Dependable AI und Engineering verlässlicher KI-Systeme:
Was versteht man darunter?

Definition

 

Dependability oder Verlässlichkeit eines Systems beschreibt die Fähigkeit, nicht akzeptable Fehler bei der Erbringung eines Dienstes oder einer Funktionalität zu vermeiden (Jean-Claude Laprie). Dependability beinhaltet dabei z.B. die Verfügbarkeit oder Zuverlässigkeit eines Dienstes, aber insbesondere auch die funktionale Sicherheit (Safety), um katastrophale Folgen für die Benutzer und die Umgebung zu vermeiden (also schwerwiegende oder gar tödliche Unfälle als Folge von Fehlern). Aber auch die Integrität und Zugriffssicherheit (Security) eines Systems oder dessen Wartbarkeit sind Qualitätseigenschaften, die im Kontext von Dependability genannt werden. 

Beim Engineering verlässlicher KI-Systeme geht es entsprechend darum, mittels Prinzipien aus dem Systems- und Software-Engineering bei der Konstruktion, der Verifikation/Validation und dem Betrieb des KI-Systems die Verlässlichkeit systematisch zu gewährleisten und insbesondere auch gesetzliche und normative Vorgaben bzgl. der Verlässlichkeit von Beginn an zu berücksichtigen.

Dazu ist es wichtig zu verstehen, dass KI-Systeme fundamental anders entwickelt werden als klassische softwarebasierte Systeme. Häufig können die Anforderungen an das KI-System nicht vollständig beschrieben werden, und das System muss in einem schier unendlichen Anwendungsraum verlässlich funktionieren. Hier kommen etablierte Methoden und Techniken des klassischen Systems- und Software-Engineerings an ihre Grenzen und es bedarf neuer innovativer Ansätze. Die Funktionalität wird bei einer KI-Komponente nicht klassisch programmiert, sondern durch Anwenden von Algorithmen auf Daten erstellt. Es entsteht ein Modell, das von der Software zur Laufzeit lediglich ausgeführt wird. Ein diesbezüglicher Ansatz ist z.B. das Maschinelle Lernen (ML) oder spezieller auch das Deep Learning (DL). Das resultierende Modell (z.B. ein künstliches neuronales Netz) ist aufgrund seiner Struktur und seiner inhärenten Komplexität im Allgemeinen für den Menschen nicht verständlich und damit sind die Entscheidungen eines KI-Systems oft nicht nachvollziehbar.

Beispiele

 

Typische Anwendungsfelder sind Systeme, bei denen es um die Verlässlichkeit des KI-Systems – also die Beherrschung des Risikos von Fehlern oder Fehlverhalten – geht.

Smart Mobility

Hochautomatisierte und autonome Fahrzeuge werden die Bereiche Mobilität und Logistik (Warentransport) vollständig verändern und neue digitale Dienste entstehen lassen. Aber die Risiken eines solchen Fahrzeugs müssen für Benutzer und mit dem Fahrzeug interagierende Personen (wie Passanten) akzeptabel sein. Was genau ein akzeptables Risiko ist, wird aktuell noch diskutiert, z.B. auch von Ethikkommissionen. Grundlegende Elemente, die bereits weithin akzeptiert werden, sind die positive Risikobilanz (Positive Risk Balance) und das Prinzip ALARP (As Low as Reasonably Practicable). Bei der positiven Risikobilanz wird sichergestellt, dass die Gefahren für Leib und Leben geringer sind, als wenn eine Person das System manuell bedienen würde. Bei ALARP muss nachgewiesen werden, dass alles zur Risikominderung getan wird, was vernünftigerweise – je nach Machbarkeit und Aufwand – getan werden kann.

Industrie 4.0

KI ist einer der Stützpfeiler der vierten industriellen Revolution hin zu einer intelligenten Fabrik, die hochflexibel individualisierte Produkte entstehen lässt. Neben Szenarien wie Production-as-a-Service oder Predictive Maintenance werden auch neue intelligente Maschinen eingesetzt. Fahrerlose Transportsysteme planen ihre Fahrten eigenständig und passen diese an die Nachfrage an. Cobots unterstützen Fabrikarbeiter und können effizient für verschiedenste Arbeiten angelernt werden. Heutzutage werden Mechanismen wie Lichtschranken und Sicherheitskäfige benutzt, die das System völlig deaktivieren, sollte ein Mensch in die Schutzzone gelangen. Somit kann allerdings der gewünschte Grad der engen Interaktion mit dem Menschen nicht erreicht werden. Zukünftig bedarf es auch intelligenterer Schutzfunktionen bei der Benutzung von und der Interaktion mit solchen Systemen, damit ein Mensch keinem erhöhten Risiko ausgesetzt wird.

Digital Health

Schon heute werden Mediziner bei der Prävention, Diagnose und Therapie von Krankheiten durch KI-Systeme unterstützt. Die KI ist dabei oft für fortgeschrittene Bild- und Datenauswertung (z.B. bei der Interpretation eines CT-Bildes) zuständig. Sie erlaubt Analysen in Bezug auf Qualität und Quantität, die auf herkömmlichem Wege nicht zu erreichen sind. Selbst bei Operationen werden heute schon erste Robotersysteme eingesetzt, die jedoch vom Menschen kontrolliert werden. Doch je mehr sich ein Mediziner auf solche Systeme stützt und je höher zukünftig der Autonomiegrad eines KI-Systems wird, desto wichtiger wird die Beherrschung des Risikos eines Fehlers und eines Fehlverhaltens der KI.

Welche Rolle spielt Vertrauenswürdigkeit / Trustworthiness bei
Dependable AI?

 

Vertrauenswürdigkeit ist eine Voraussetzung für Menschen und Gesellschaften, um KI-Systeme zu entwickeln, einzusetzen und zu nutzen (Ethics Guidelines for Trustworthy AI der Europäischen Kommission). Ähnlich wie bei der Luftfahrt oder der Kernenergie sind es nicht nur die Komponenten des KI-Systems, die vertrauenswürdig sein müssen, sondern das sozio-technische System in seinem Gesamtkontext. Ein ganzheitlicher und systematischer Ansatz ist erforderlich, um die Vertrauenswürdigkeit sicherzustellen. Nach den Leitlinien der Europäischen Kommission besteht vertrauenswürdige KI aus drei Aspekten, die während des gesamten Lebenszyklus erfüllt sein sollten:

  1. Einhaltung der geltenden Gesetze und Vorschriften
  2. Einhaltung ethischer Grundsätze und Werte
  3. Robustheit aus technischer wie auch aus sozialer Sicht

Die Dependability des KI-Systems bezieht sich insbesondere auf den Aspekt der Robustheit des KI-Systems aus technischer Sicht unter Einhaltung der bestehenden Gesetze und Normen.

Zurück zur Übersicht

Was sind die Chancen für Unternehmen durch den Einsatz von Dependable AI?

Dependable AI / Verlässliche KI, Fraunhofer IESE
© iStock.com/Shulz

Die Anwendungsfelder von KI im Allgemeinen sind vielfältig: In den Zukunftsszenarien fast aller Branchen spielt KI eine entscheidende Rolle – ob Smart Mobility, Smart Production/Industrie 4.0, Digital Health, Smart Farming, Smart City oder Smart Region. Die meisten Szenarien basieren darauf, dass datenbasierte intelligente Systeme angelernt werden, die aufgrund ihrer Komplexität nicht durch klassisches Programmieren konstruiert werden können. Mit Verfahren wie dem Maschinellem Lernen wird versucht, ein hoch komplexes Problem zu lösen, indem Modelle auf einer riesigen Menge von Daten erlernt werden.

KI-Ansätze können dabei dazu verwendet werden, entweder existierende Prozesse zu optimieren (wie effizientere Wartung von Maschinen oder Sortierung von Werkstücken) oder vollkommen neue nutzerorientierte Produkte und Dienste zu schaffen (wie intelligente Mobilitätsdienste auf Basis von autonomen Fahrzeugen).

Die Potenziale durch KI für die Wirtschaft wurden in verschiedensten Studien untersucht. Diese Studien sagen für die nächsten Jahre sowohl für Deutschland als auch weltweit ein starkes Wachstum vorher. Ein Großteil des Zuwachses wird durch völlig neue und stärker nutzerorientierte Produkte erwartet. Das Potenzial ist gewaltig, aber auch die Konkurrenz im globalen Wettbewerb ist groß. Länder wie die USA und China investieren in großem Maßstab und sind aufgrund ihrer Strukturen und ihrer Mentalität ein günstiges Umfeld für Start-ups und die schnelle Etablierung neuer innovativer Produkte und Services. Um sich im Wettbewerb zu behaupten, muss man sich in Europa und in Deutschland auf die eigenen Stärken besinnen: Ingenieurmäßig entwickelte Qualität und Verlässlichkeit!

Denn für viele der eingangs erwähnten Zukunftsszenarien ist Dependable AI entscheidend für den Erfolg. Dies betrifft zum Beispiel alles rund um hochautomatisierte bzw. Autonome Systeme und kognitive Systeme in sicherheitskritischen Anwendungsfeldern. Ohne Verlässlichkeit kein Vertrauen (Trust und Trustworthiness) und ohne Vertrauen keine Akzeptanz und kein Erfolg. Schließlich würde kaum jemand autonome Fahrzeuge nutzen oder mit lernfähigen Robotern im Arbeitsumfeld zusammenarbeiten, wenn diese nicht grundsätzlich sicher sind, was ihre Funktionsweise im dafür vorgesehenen Umfeld (wie im Straßenverkehr oder in der Fabrik) betrifft.

Zurück zur Übersicht

Welche Herausforderungen sind bei der Konstruktion, der Verifikation/
Validation und dem Betrieb von Dependable-AI-Systemen zu meistern?

Potenziale und Risiken

KI und Maschinelles Lernen sind mehr als eine rein technische Herausforderung, die nicht mit dem Kauf von Werkzeugen und Infrastruktur beginnen sollte. Unternehmen stehen oft vor der Herausforderung, einen für sie nutzbringenden Anwendungsfall zu finden oder zu bewerten, inwieweit KI für einen gegebenen Anwendungsfall wirklich die Lösung sein kann. Ferner ist es für Unternehmen eine Herausforderung zu bewerten, wie sich KI auf ihr Geschäft auswirken könnte.

Verlässlichkeitsnachweis

Ein Kernelement bei der Konstruktion verlässlicher KI-Systeme ist der Nachweis, dass das System als Ganzes verlässlich funktioniert, d.h., dass das Risiko von Fehlern und Fehlverhalten auf ein akzeptables Maß reduziert wird. Eine Herausforderung liegt darin, diese Argumentation sauber zu führen und entsprechende Evidenzen zu finden, welche die Verlässlichkeit des KI-Systems belegen.

Sicherheitsarchitekturen

Auch wenn eine KI-Komponente ein Fehlverhalten zeigt, muss das System als Ganzes in der Lage sein, mit diesem Fehlverhalten umzugehen und ein etwaiges Schadensrisiko geringhalten. Der Entwurf solcher Sicherheitsarchitekturen, die ausschlaggebend dafür sind, dass das System als Ganzes verlässlich funktioniert, ist in der Praxis oftmals herausfordernd.

Blackbox-Komponenten

Große Systeme werden heutzutage selten von einem einzelnen Hersteller gebaut, sondern integrieren Teile von Zulieferern. Oftmals werden in diesem Zusammenhang Softwarekomponenten als Blackbox ausgeliefert; d.h., es gibt keinen Einblick in die konkrete Umsetzung und es lässt sich nur das Verhalten der Komponente beobachten. Bei KI-Komponenten ist es daher wichtig, dass Zusicherungen und Angaben zur Verlässlichkeit der Komponente eindeutig spezifiziert und zusammen mit der Komponente ausgeliefert werden.

Laufzeitgarantien

Um das Risiko von Fehlern und Fehlverhalten eines KI-Systems in einem akzeptablen Maß zu halten, kann es nötig sein, spezielle Mechanismen einzubauen, welche das Risiko zur Laufzeit dynamisch überwachen und ggf. in das Systemverhalten eingreifen. In der Praxis ist es eine Herausforderung, die Balance zwischen der Effizienz / Effektivität des KI-Systems und der Risikominimierung zur Laufzeit zu finden.

Unsicherheits-
management

Jedes datenbasierte Modell hat bei der Anwendung gewisse Unsicherheiten. Diese können neben dem KI-Modell selbst auch aus den Eingabedaten und dem Verwendungskontext kommen. Beispielsweise kann ein Modell für bestimmte Eingabedaten nicht trainiert worden sein oder es wird außerhalb des vorgesehenen Verwendungskontexts genutzt. Eine Herausforderung liegt darin, diese Unsicherheiten zu quantifizieren, um das von ihnen ausgehende Risiko zu beherrschen.

Datenverfügbarkeit

Oftmals fehlt es auch an qualitativ hochwertigen Daten bzw. an Wissen darüber, wie solche Daten erfasst werden können. Für den Bau von Modellen mit Maschinellem Lernen stellt das ein großes Problem dar. Auch der beste Ansatz für Maschinelles Lernen kann aus qualitativ schlechten Daten kein erstklassig funktionierendes Modell erzeugen.

Data-Science-Kompetenzen

Die Nachfrage nach Data Scientists, also Personen mit Kompetenzen im Umgang mit Daten und insbesondere Big Data sowie deren Analyse und Modellbildung, ist groß. Für Unternehmen ist es häufig eine Herausforderung, Data Scientists anzuwerben oder innerhalb des Unternehmens über Weiterbildung aufzubauen. Dies gilt insbesondere für Data Scientists, die sich mit der Konstruktion verlässlicher KI-Systeme auskennen.

KI-Standards

Für Dependable AI, d.h. die Absicherung von KI-Systemen, fehlen noch gesetzliche Vorgaben, Normen, Best Practices und etablierte Methoden. Einige Leitlinien wurden eben erst veröffentlicht (z.B. die Ethikrichtlinien für vertrauenswürdige KI der EU) oder müssen noch bzgl. KI angepasst werden (wie die Neufassung der ISO 26262 oder die Erweiterung der ISO/IEC 25000-Serie in Bezug auf KI). Daher ist für viele Unternehmen unklar, welche KI-Systeme heute schon möglich sind und wie die zukünftigen Vorgaben für verlässliche KI-Systeme aussehen werden.

Referenzprozess

In der angewandten KI-Forschung gibt es viele parallele Entwicklungen, die verfolgt werden müssen. Für etliche Probleme gibt es dort individuelle, lokale Lösungen, aber ein umfassender Engineering-Prozess, der sich für den industriellen Einsatz eignet, ist aktuell noch nicht verfügbar. Unternehmen können sich daher nicht an einem Referenzprozess orientieren und müssen sich mühsam eine eigene Blaupause für die Entwicklung ihres KI-Systems zusammenstellen.

Wie können verlässliche KI-Systeme entwickelt werden?

Die Absicherung eines verlässlichen KI-Systems geschieht durch verschiedene Verfahren bei der Konstruktion, der Verifikation/Validation (V&V) und dem Betrieb in Abhängigkeit von der Kritikalität der Funktionalität.

 Grafik Übersicht über die Prozessbereiche bei der Entwicklung eines Dependable-AI-Systems (W-Modell)- Fraunhofer IESE
© Fraunhofer IESE
Abbildung 1: Übersicht über die Prozessbereiche bei der Entwicklung eines Dependable-AI-Systems (W-Modell).

Abbildung 1 zeigt die Sicht des Fraunhofer IESE auf grundlegende Prozessbereiche in einem W-Modell. Dabei unterscheiden wir verschiedene Aktivitäten im Lebenszyklus eines KI-Systems (X-Achse) und verschiedene Stakeholder, die in den unterschiedlichen Phasen beteiligt sind: von der Managementebene bis hin zur operativen/technischen Ebene. Die Darstellung der Aktivitäten und Ebenen orientiert sich an der VDE-AR-E 2842-61, welche ein Referenzmodell für vertrauenswürdige KI definiert (entwickelt von der DKE, der in VDE und DIN zuständigen Organisation für die Erarbeitung von Normen). Grundsätzlich orientiert sich der Prozess an einem ganzheitlichen Systems-Engineering-Ansatz. Dabei ist es je nach Anwendungsfeld üblich, dass einzelne Systemkomponenten, die von Zulieferern als Blackbox geliefert werden, in das Gesamtsystem integriert werden müssen.

Kompetenzaufbau

Dem Entwicklungsprozess vorgeschaltet ist typischerweise eine Ramp-up-Phase, in welcher die im Unternehmen notwendigen Kompetenzen bestimmt und entwickelt werden. Für die Managementebene ist in diesem Zusammenhang wichtig, sowohl die konkreten Möglichkeiten von KI-Systemen für das eigene Geschäft zu verstehen als auch die Stolperfallen bei der Umsetzung. Für die operative/technische Ebene hingegen spielt das Wissen über konkrete Techniken/Methoden/Werkzeugen zur Realisierung eine wichtige Rolle.

 

Konstruktion und V&V

Der Gesamtprozess beginnt mit der Erstellung der Geschäftsstrategie und dem Herausarbeiten der konkreten Potenziale/Mehrwerte, die von einem KI-System erwartet werden. Daraus werden technische Anforderungen auf Systemebene und ein konkretes Lösungskonzept abgeleitet. In Abhängigkeit von der Kritikalität des Systems werden auf Systemebene weitere Analysen (z.B. bzgl. funktionaler Sicherheit) durchgeführt, um die regulatorischen und gesetzlichen Vorgaben bei der Entwicklung zu berücksichtigen. Das System wird im Rahmen klassischer Ansätze des Systems Engineerings (wie ISO/IEC 15288 oder 12207) in Teilsysteme zerlegt, die aus Software und Hardware bestehen können. Die Software-Teilsysteme wiederum bestehen aus klassischen Softwarekomponenten und solchen, die KI beinhalten und eine Normal- oder Sicherheitsfunktion des Systems abbilden. Softwarekomponenten werden heutzutage in einem agilen Entwicklungsprozess erstellt (wie z.B. Scrum), der parallel zur Entwicklung der Hardware erfolgt. Auch KI-Komponenten werden üblicherweise in einem hoch iterativen Prozess entwickelt, der sich aber eher an gängigen Vorgehen aus dem Bereich Data Science orientiert (wie CRISP-DM). Das bedeutet, dass das Modell inkrementell/iterativ solange verbessert wird, bis es die vorgegebenen Qualitätskriterien einhält. Man spricht in diesem Zusammenhang von der Evaluation bzw. Härtung des KI-Modells. Anschließend werden die Einzelkomponenten des Systems zum Gesamtsystem integriert und als Ganzes verifiziert bzw. validiert, bevor das System nach Durchlauf definierter Akzeptanz- und Release-Kriterien nach außen gegeben werden kann (z.B. nach geforderten Testing- und Auditing-Prozessen). In der Praxis wird dieser Gesamtprozess zur Konstruktion und Verifikation/Validation je nach Größe und Komplexität des Systems und des Entwicklungsprojekts auch mehrfach in Iterationen durchlaufen.

 

Betrieb

Der Lebenszyklus eines KI-Systems endet nicht mit der Bereitstellung des Systems. In der Betriebs-/Operation-Phase geht es darum, die Performanz des Systems zu überwachen und aus dem tatsächlichen Verhalten zu lernen, wie das KI-System bzw. KI-Modell verbessert werden kann. Bei KI-Systemen, die zur Laufzeit weiterlernen, also ihr Verhalten auf Basis der gemachten Erfahrungen verändern, sind zudem weitere Verfahren des dynamischen Risikomanagements notwendig.

Zurück zur Übersicht

Wie kann das Fraunhofer IESE mein Unternehmen bei Dependable AI konkret unterstützen?

 Grafik Übersicht über die Prozessbereiche bei der Entwicklung eines Dependable-AI-Systems (W-Modell)- Fraunhofer IESE
© Fraunhofer IESE
Abbildung 2: Einordnung von Lösungsbausteinen bei der Entwicklung eines Dependable-AI-Systems.

Grundsätzlich berät und unterstützt das Fraunhofer IESE Unternehmen ganzheitlich beim Engineering verlässlicher KI-Systeme und begleitet sie über den gesamten Lebenszyklus: von der KI-Strategie über die KI-Entwicklung bis zur KI-Absicherung bzw. zum KI-Testing/Auditing und zur Erfüllung der gesetzlichen und normativen Vorgaben. Wir sind dabei multidisziplinär aufgestellt, d.h., wir verfügen über Kompetenzen sowohl im Bereich Software- und Systems-Engineering als auch in Data Science und Innovationsstrategie.

Aus unserer Forschung im Kontext Dependable AI haben wir konkrete Lösungsbausteine für wesentliche Herausforderungen entwickelt, die wir in die Praxis übertragen. Abbildung 2 zeigt eine Einordnung von Lösungsbausteinen in die dargestellten Prozessbereiche des W-Modells.

KI-Potenzialanalyse

Im Rahmen von Potenzialanalysen wird der Mehrwert von KI für ein Unternehmen herausgearbeitet. Mit etablierten Vorlagen (wie Value Proposition oder BMC) werden die Auswirkungen von KI auf das Geschäftsmodell ausgearbeitet. Wir stellen für einen Anwendungskontext relevante Normen, Standards und Qualitätsrichtlinien zusammen und zeigen auf, welche KI-Systeme heute schon möglich sind und welche Vorgaben man in Zukunft in Abhängigkeit von der Kritikalität einhalten muss. Dabei wird auch die Lücke zwischen der aktuellen Aufstellung des Unternehmens und der zukünftigen Ausrichtung ermittelt und eine Strategie erarbeitet. Im Rahmen von Prototypen werden vielversprechende Anwendungsszenarien in Bezug auf Profitabilität, Nachfrage und technische Umsetzbarkeit evaluiert (z.B. im Hinblick auf die Verfügbarkeit von Daten und die Güte der Vorhersage).

Multi-Aspect Safety Engineering

Insbesondere für die Entwicklung von hochautomatisierten und Autonomen Systemen spielt nicht nur die funktionale Sicherheit (ISO 26262), sondern auch die Sicherheit der beabsichtigten Funktionalität (SOTIF, ISO/PAS 21448) und die systematische Entwicklung eines sicheren Nennverhaltens eine wichtige Rolle. In einem modellbasierten Ansatz nutzen wir moderne Methoden und Techniken des Safety Engineerings, um das System ganzheitlich zu modellieren, zu analysieren und die gefundenen Risiken zu beherrschen. Die Argumentation, dass das System verlässlich ist, erfolgt dabei über Assurance- oder Safety-Case-Analysen. Über Evidenzen wird argumentiert, dass sich das System bzgl. des Assurance bzw. Safety Cases entsprechend so verhält, dass die Risikoakzeptanzschwelle nicht überschritten wird.

 

Safety-Supervisor-Architektur

Ein weiteres zentrales Element für die Verlässlichkeit des Systems stellt die Systemarchitektur dar. Hier gibt es z.B. Architekturen, die eine Art Sicherheitscontainer um die KI legen. Diese Safety-Supervisor- oder Simplex-Architekturen überschreiben die KI-Entscheidung, falls diese zu einem gefährlichen Verhalten des KI-Systems führen würde. Dazu ist es wichtig, z.B. die Unsicherheit der KI-Empfehlung unter bestimmten Nutzungsbedingungen zu kennen und darauf basierend das Risiko einer fehlerhaften Entscheidung zu ermitteln. Solche Ansätze sind für Machine-Learning-Komponenten im Allgemeinen interessant und besonders wichtig, wenn es sich um KI-Systeme handelt, die über ihre Lebenszeit hinweg weiter lernen und daher ihr Verhalten anpassen können. Da es potenziell unmöglich ist, zum Entwurfszeitpunkt eines KI-Systems zu wissen, welche Daten die KI als Grundlage für weiteres Lernen verwendet, müssen entsprechende Leitplanken für das Verhalten definiert und in das System eingebaut werden.

 

Digital Dependability Identities (DDI)

Eine Digital Dependability Identity (DDI) ist ein Instrument, um zentral alle Spezifikationen, die für die Systemverlässlichkeit relevant sind, einheitlich und austauschbar zu dokumentieren und diese Spezifikation mit einem System bzw. Systemteil auszuliefern. Dies ist insbesondere dann wichtig, wenn Systemteile unterschiedlicher Hersteller/Zulieferer entlang der Lieferkette integriert werden müssen bzw. falls eine dynamische Integration verschiedener Systemteile zur Laufzeit erfolgt (wie beim kollaborativen Fahren). Das Rückgrat der DDI ist ein Assurance Case, der alle Spezifikationen strukturiert und miteinander verknüpft und so argumentiert, unter welchen Bedingungen das System verlässlich arbeitet. Die Art der Evidenzen in der Argumentationskette ist ganz unterschiedlich. Sie können die Sicherheitsarchitektur betreffen oder das Management von Unsicherheiten der KI-Komponente, beispielsweise den Nachweis, dass man Daten verwendet, welche den intendierten Verwendungskontext ausreichend abdecken.

 

Dynamic Risk Management (DRM)

DRM ist ein Ansatz zur kontinuierlichen Überwachung des Risikos eines Systems und seines geplanten Verhaltens sowie seiner sicherheitsrelevanten Fähigkeiten. DRM überwacht das Risiko, optimiert die Leistung und gewährleistet die funktionale Sicherheit durch ein kontinuierliches Management, das sich auf Laufzeitmodelle stützt. Ein Bestandteil des DRM von KI-basierten Systemen kann auch die Ausgabe eines Uncertainty Wrappers sein.

 

Uncertainty Management

Unsicherheit ist bei datenbasierten Lösungen ein inhärentes Problem und kann nicht ignoriert werden. Der Uncertainty Wrapper ist ein ganzheitlicher, modellunabhängiger Ansatz zur Identifizierung situativ zuverlässiger Prognosen von Unsicherheiten in KI-Komponenten. Diese Unsicherheiten können neben dem KI-Modell selbst auch aus den Eingabedaten und dem Verwendungskontext kommen. Der Uncertainty Wrapper kann einerseits bei der Entwicklung des KI-Modells eingesetzt werden, um die identifizierten Unsicherheiten durch entsprechende Maßnahmen zu beherrschen und das Modell sicherer zu gestalten. Andererseits ermöglicht der Wrapper zur Laufzeit des KI-Systems eine ganzheitliche Betrachtung der aktuellen Unsicherheit der KI-Komponente. Diese Einschätzung kann wiederum von einem Sicherheitscontainer verwendet werden, um die KI zu übersteuern und das System in einen risikoärmeren Zustand zu überführen.

 

Trainings

Nicht zuletzt sind wir auch in der Qualifizierung entsprechender Kompetenzen im Unternehmen aktiv: von Enlightening Talks für das Management über Weiterbildungsprogramme zum Data Scientist bis hin zu Spezialschulungen für verlässliche KI-Systeme (z.B. Safe-AI-Schulung).

Zurück zur Übersicht

Warum sollte mein Unternehmen für Dependable AI mit dem Fraunhofer IESE zusammenarbeiten?

Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) haben großes Potenzial, bestehende Produkte und Dienste zu verbessern – oder gar völlig neue Produkte und Dienste zu ermöglichen. Allerdings stellt die Gewährleistung und Überprüfung wesentlicher Qualitätseigenschaften von KI-Systemen, und dabei insbesondere von Eigenschaften der Verlässlichkeit, eine große Herausforderung dar. Wer hier adäquate Lösungen findet und umsetzt, hat klare Wettbewerbsvorteile! Wir sind überzeugt: Mit unseren Methoden und Lösungsbausteinen können wir Sie auf diesem Weg tatkräftig und effektiv unterstützen!

 

Das Fraunhofer IESE berät und unterstützt Unternehmen ganzheitlich beim Engineering verlässlicher KI-Systeme:

Ende-zu-Ende: Wir begleiten Unternehmen über den gesamten Lebenszyklus: von der KI-Strategie über die KI-Entwicklung bis zur KI-Absicherung bzw. zum KI-Testing/Auditing und zur Erfüllung der gesetzlichen und normativen Vorgaben.

Multidisziplinär: Wir sind multidisziplinär aufgestellt, d.h., wir verfügen über Kompetenzen sowohl im Bereich Software- und Systems-Engineering als auch in Data Science und Innovationsstrategie. Entsprechend bieten wir eine zentrale Anlaufstelle, in der alle relevanten Kompetenzen rund um Dependable AI vorhanden sind.

Innovativ: Als Fraunhofer-Institut sind wir in innovativen Forschungsprojekten für Dependable AI auf Bundes- und EU-Ebene vertreten, sodass wir den aktuellen Stand der Forschung und Praxis in Bezug Prozesse, Technologien und Werkzeuge für Dependable AI kennen.

Informiert: Wir sind über Verbände und Normungsgremien in Roadmap- und Normungsaktivitäten zu Dependable AI involviert, sodass wir Zugriff auf aktuelle Diskussionen haben und zukünftige Änderungen der gesetzlichen und normativen Vorgaben kennen.

Aus einer Hand: Als Mitglied der Fraunhofer-Allianz Big Data und Künstliche Intelligenz (KI) haben wir Zugriff auf umfängliche Ressourcen (Data Scientists, Softwarepakete und Recheninfrastruktur). Dadurch können wir auch komplexere Projekte im Kontext Dependable AI aus einer Hand anbieten. 

© iStock.com/Shulz

Unser Beitrag für die erfolgreiche Umsetzung von Dependable AI

KI-Potenzialanalyse

Wir unterstützen Unternehmen darin, Potenziale und Risiken von KI-Systemen in kritischen Anwendungsfällen zu identifizieren und Prototypen zu erstellen. Damit können Fehlinvestitionen und Opportunitätskosten vermieden werden.

Multi-Aspect Safety Engineering

Wir erarbeiten Sicherheitsargumente für sicherheitskritische KI-Systeme unter Berücksichtigung geltender und in Entwicklung befindlicher Vorgaben. Damit ist die Sicherheitsargumentation auf der Basis des aktuellen Stands der Forschung und Praxis zukunftssicher.

Safety-Supervisor-Architektur

Wir entwickeln KI-Architekturen, die Risiken möglichst frühzeitig abfangen und zu einem verlässlichen KI-System führen. Damit können innovative KI-basierte Lösungen auch in sicherheitskritischen Anwendungsfällen zum Einsatz kommen.

Digital Dependability Identities (DDI)

Wir spezifizieren, unter welchen Bedingungen eine kritische Komponente verlässlich ist und integrieren dies in die Sicherheitsargumentation des Systems. Damit können kritische Systemteile unterschiedlicher Hersteller/Zulieferer integriert und sogar zur Laufzeit dynamisch kombiniert werden.

Dynamic Risk Management (DRM)

Wir entwickeln Mechanismen, um das Risiko kritischer KI-Systeme dynamisch zur Laufzeit zu überwachen und gezielt potenzielle Gefährdungen zu reduzieren. Dies erlaubt eine effiziente und effektive Interaktion mit dem KI-System und auch die Beherrschung des Risikos bei selbstlernenden KI-Systemen.

Uncertainty Management

Wir stellen Softwarelösungen für das Management von Unsicherheiten einer KI-Komponente zur Verfügung. Damit können Unsicherheiten zur Entwicklung und Laufzeit identifiziert und beherrschbar gemacht werden.

Trainings

Wir identifizieren im Unternehmen Wissenslücken in Bezug auf Dependable AI und entwickeln Strategien für den Aufbau der erforderlichen Kompetenzen. Damit können notwendige KI-Kompetenzen auf allen Ebenen des Unternehmens nachhaltig aufgebaut werden und die Innovationsfähigkeit wird gestärkt.

Zurück zur Übersicht

Wir unterstützen Sie gerne bei der Gestaltung und Umsetzung Ihrer Dependable-AI-Systeme!

 

Kontaktieren Sie uns!

Wir unterstützen Sie gerne und nehmen uns für Sie Zeit!

Vereinbaren Sie einen Termin mit uns, gerne per E-Mail oder Telefon.

Welche Referenzen hat das Fraunhofer IESE bei Dependable AI?

Wir arbeiten in bilateralen Projekten mit einer Vielzahl renommierter Unternehmen aus verschiedenen Domänen zu Dependable AI zusammen. Parallel arbeiten wir in Forschungsprojekten intensiv an der Weiterentwicklung unserer Methoden und der Entwicklung verlässlicher KI-Systeme. Im Folgenden finden Sie einige Beispiele von Projekten mit unseren Kunden und ausgewählter Forschungsprojekte.

Smart City & Smart Region

KI in Mittelstädten

In diesem Projekt untersuchen wir gemeinsam mit Projektpartnern die Möglichkeiten zur KI-Anwendung im öffentlichen Sektor von rheinland-pfälzischen Mittelstädten.

Produktion und HR

ExamAI

Untersuchung sicherer Kontroll- und Testverfahren für KI-Systeme im Kontext Mensch-Maschine-Kooperation in der Industrieproduktion.

Elektronik & Informationstechnologie

Hitachi

In einer Forschungskooperation haben Hitachi und Fraunhofer IESE den erforderlichen Umfang für zukünftiges Safety Engineering zur Gewährleistung der Sicherheit beim autonomen Fahren untersucht.

Automotive & Mobility

e.GO Life

Bei der Erarbeitung des Sicherheitskonzepts des Elektrofahrzeugs e.GO Life begleitete das Fraunhofer IESE das Safety-Engineering.

Automotive & Mobility

DEIS

Im Projekt »Dependability Engineering Innovation for Cyber-Physical Systems« wurde ein ganzheitlicher Ansatz zur Absicherung von cyber-physischen Systemen zur Entwicklungs- und Laufzeit erarbeitet.

Automotive & Mobility

V&V Methoden

Im Projekt »Verification & Validation Methods« mit führenden Herstellern werden Standards für den Sicherheitsnachweis von automatisierten Fahrzeugen (Level 4+5) im urbanen Umfeld entwickelt.

 

Dependable AI
im Podcast

Wie wird eine Künstliche Intelligenz verlässlich? Lieber hören statt lesen?

Automotive & Mobility

SECREDAS

Methoden für die Entwicklung von Komponenten für die Schaffung vertrauenswürdiger autonomer Systeme.

Automotive & Mobility

IAV GmbH

Die am Fraunhofer IESE entwickelte »Uncertainty Wrapper«-Architektur und -Analysemethodik wurde auf eine bestehende KI-Komponente angewandt, um Unsicherheit zuverlässig abzuschätzen.

Energietechnik

Siemens Gas and Power

Unterstützung bei der Optimierung der Kraftwerksregelung bezüglich Verfügbarkeit, Effizienz, Flexibilität und Emissionswerten.

Publikationen aus dem Bereich Dependable AI

Veröffentlichungen des Fraunhofer IESE im Themenumfeld »Dependable AI«

    • Adler, R., et al., “Hardening of Artificial Neural Networks for Use in Safety-Critical Applications - A Mapping Study”, https://arxiv.org/abs/1909.03036, 2019.
    • Kläs, M., “Towards Identifying and Managing Sources of Uncertainty in AI and Machine Learning Models - An Overview,https://arxiv.org/abs/1811.11669, 2018.
    • Kläs, M., Vollmer, A. M., "Uncertainty in Machine Learning Applications – A Practice-Driven Classification of Uncertainty," First International Workshop on Artificial Intelligence Safety Engineering (WAISE 2018), Västerås, Sweden, 2018.
    • Mohammed Naveed Akram, Pascal Gerber and Daniel Schneider, “Hardening of CNN-LSTM powered by Explainable AI techniques”. Submitted to the safecomp WAISE Workshop 2021.
    • Jöckel, L., Kläs, M., "Increasing Trust in Data-Driven Model Validation - A Framework for Probabilistic Augmentation of Images and Meta-Data Generation using Application Scope Characteristics", International Conference on Computer Safety, Reliability and Security (SAFECOMP 2019), Turku, Finland, 2019.
    • Jöckel, L., Kläs, M., Martínez-Fernández, S., "Safe Traffic Sign Recognition through Data Augmentation for Autonomous Vehicles Software“, 19th IEEE International Conference on Software Quality, Reliability and Security Companion (QRS-C), Sofia, Bulgaria, 2019.
    • Kläs, M., Adler, R., Sorokos, I., et al., “Handling Uncertainties of Data-Driven Models in Compliance with Safety Constraints for Autonomous Behaviour”, European Dependable Computing Conference (EDCC 2021), 2021
    • Trapp, Mario; Schneider, Daniel; Weiss, Gereon (2018): Towards Safety-Awareness and Dynamic Safety Management. In : 2018 14th European Dependable Computing Conference (EDCC). Iasi, pp. 107–111.
      Schneider, Daniel; Trapp, Mario (2018): B-space: dynamic management and assurance of open systems of systems. In J Internet Serv Appl 9 (1). DOI: 10.1186/s13174-018-0084-5.
    • Dynamic Risk Management Overview Videos/Webinars:
          o   https://www.youtube.com/watch?v=uyxCIViOb40 (German, 2020)
          o   https://www.youtube.com/watch?v=HY9NrJHLxRI (English, 2020)
          o   https://www.youtube.com/watch?v=Vdn-TCGxzgA (Platooning Demonstration)  
    • ·Schneider, Daniel; Trapp, Mario (2013): Conditional Safety Certification of Open Adaptive Systems. In ACM Trans. Auton. Adapt. Syst. 8 (2), pp. 1–20. DOI: 10.1145/2491465.2491467.
      Kabir, Sohag, et al. "A runtime safety analysis concept for open adaptive systems". International Symposium on Model-Based Safety and Assessment. Springer, Cham, 2019.
    • Reich, Jan, et al. "Engineering of Runtime Safety Monitors for Cyber-Physical Systems with Digital Dependability Identities". International Conference on Computer Safety, Reliability, and Security. Springer, Cham, 2020.
    • Feth, Patrik (2020): Dynamic Behavior Risk Assessment for Autonomous Systems. Dissertation. Technical University Kaiserslautern, Germany.
    • Reich, Jan, and Mario Trapp. "SINADRA: Towards a Framework for Assurable Situation-Aware Dynamic Risk Assessment of Autonomous Vehicles". 2020 16th European Dependable Computing Conference (EDCC). IEEE, 2020.
    • Reich, Jan, et al. “Towards a Software Component to Perform Situation-Aware Dynamic Risk Assessment for Autonomous Vehicles”. Submitted to DREAMS Workshop (Dynamic Risk Management for Autonomous Systems) co-located with European Dependable Computing Conference 2021.
    • Kläs, M., Sembach, L., "Uncertainty Wrappers for Data-driven Models - Increase the Transparency of AI/ML-based Models through Enrichment with Dependable Situation-aware Uncertainty Estimates," Second International Workshop on Artificial Intelligence Safety Engineering (WAISE 2019), Turku, Finland, 2019.
    • Kläs, M., Jöckel, L., "A Framework for Building Uncertainty Wrappers for AI/ML-based Data-Driven Components," Third International Workshop on Artificial Intelligence Safety Engineering (WAISE 2020), Lisbon, Portugal, 2020.
    • Jöckel, L., Kläs, M., "Could We Release AI/ML Models from the Responsibility of Providing Dependable Uncertainty Estimates? - A Study on Outside-Model Uncertainty Estimates," International Conference on Computer Safety, Reliability and Security (SAFECOMP 2021), 2021.
    • Aslansefat, Koorosh, Ioannis Sorokos, Declan Whiting, Ramin Tavakoli Kolagari, and Yiannis Papadopoulos. "SafeML: Safety Monitoring of Machine Learning Classifiers Through Statistical Difference Measures", In International Symposium on Model-Based Safety and Assessment, pp. 197-211. Springer, Cham, 2020.