KI ist eine breite und in Informatikma\u00dfst\u00e4ben eher alte Disziplin (siehe Abbildung 1), welche viele verschiedene Arten von Ans\u00e4tzen subsumiert. Im Kern geht es bei jedem dieser Ans\u00e4tze darum, menschliches Verhalten nachzuahmen. Intelligenz im eigentlichen Sinne wird von den Ans\u00e4tzen in der Regel jedoch nicht erreicht, wobei es aber nat\u00fcrlich schon ein Ziel der Forschung ist, auch in dieser Hinsicht Fortschritte zu machen. In den letzten Jahren ist die KI Aufgrund vieler neuer Anwendungserfolge erneut stark in den Blickpunkt ger\u00fcckt. Diese Erfolge wurden in erster Linie durch Fortschritte in den Bereichen des Maschinellen Lernens und insbesondere bei den Neuronalen Netzen erzielt. Hier wird die Funktionalit\u00e4t auf Basis von Daten gelernt und nicht mehr klassisch programmiert.<\/p>\n
![\"Dependable](\"https:\/\/www.iese.fraunhofer.de\/blog\/wp-content\/uploads\/2021\/03\/Dependable-AI_History_FraunhoferIESE-1-698x297.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t<\/p>\n
Beispiele f\u00fcr erfolgreiche Anwendungen sind insbesondere bei der semantischen Segmentierung von z.B. Bilddaten, also zum Beispiel der Objekterkennung auf Basis von Bildinformationen, zu finden. Dieser Bereich wird zunehmend wichtig, da die Wahrnehmung der Umgebung f\u00fcr die stark aufkommenden hochautomatisierten und autonomen Systeme essenziell ist. Und auch im medizinischen Bereich gibt es bereits sehr vielversprechende Resultate. Hier unterst\u00fctzen KI-Komponenten erfolgreich bei Diagnosen auf Basis von bildgebenden Untersuchungen wie MRT oder CT.<\/p>\n
Insgesamt kann man sagen, dass die Nutzung des Maschinellen Lernens (ML) oftmals dort vielversprechend ist, wo es schwierig ist, eine ad\u00e4quate konventionelle Spezifikation einer Komponente zu erstellen. ML erm\u00f6glicht dann also Funktionalit\u00e4ten, die auf klassischem Weg nicht oder nur schlechter mit Software programmiert werden k\u00f6nnten. Damit k\u00f6nnen komplexe Zusammenh\u00e4nge (in Modellen) realisiert werden, die dann in KI-Systemen zum Einsatz kommen.<\/p>\n
Welche Qualit\u00e4ten eines KI-Systems sind f\u00fcr welche Anwendung wichtig?<\/h3>\n
In der Praxis gibt es eine Vielzahl m\u00f6glicher KI-Anwendungen aus verschiedenen Anwendungsdom\u00e4nen. Im Folgenden wollen wir uns die Vorteile und Gefahren eines KI-Systems anhand dreier Beispiele aus ganz verschiedenen Bereichen anschauen:<\/p>\n
(1) In einer intelligenten Fabrik sagt ein KI-System z.B. den Ausfall einer Maschine in einer Produktionsstra\u00dfe auf Basis von Sensordaten voraus. Man spricht hier von Predictive Maintenance<\/a> \u2013 also der vorausschauenden Wartung einer Maschine. Damit wird es m\u00f6glich, dass die Produktionsstra\u00dfe f\u00fcr ein Produkt nicht ungeplant ausf\u00e4llt und hohe Stillstandkosten verursacht, sondern die Wartung der Maschine zu einem g\u00fcnstigen Zeitpunkt vor dem Ausfall eingeplant werden kann. Eine fehlerhafte Vorhersage der KI f\u00fchrt dann bei einer falsch-positiven Vorhersage zu unn\u00f6tigen Wartungskosten oder bei einer falsch-negativen Vorhersage zu einem ungeplanten Stillstand der Maschine. In beiden F\u00e4llen sprechen wir von etwaigen materiellen Verlusten. Bei der Qualit\u00e4t des KI-Systems geht es also im Wesentlichen um die Genauigkeit der Vorhersage und die Effizienz der Maschine. Predictive Maintenance gewinnt in Deutschland im Zuge der Industrie 4.0 zunehmend an Bedeutung. Bei der vierten industriellen Revolution werden z. B. Daten \u00fcber einen Digitalen Zwilling<\/a> der produzierenden Maschinen in gro\u00dfen Mengen verf\u00fcgbar. Diese k\u00f6nnen wiederum f\u00fcr den Bau von Modellen genutzt werden.<\/p>\n (2) In den USA wurden KI-Systeme zur Vorklassifikation von Bewerber*innen bei Unternehmen eingesetzt. Der Vorteil des KI-Einsatzes liegt darin, dass bei einer sehr gro\u00dfen Anzahl an Bewerber*innen die scheinbar interessanten automatisch herausgefiltert werden – ein Prozess, der ansonsten aufw\u00e4ndig manuell durchgef\u00fchrt werden muss. In der Praxis hat sich allerdings bei einigen dieser Systeme gezeigt, dass systematisch einige gesellschaftliche Gruppen diskriminiert wurden. Das lag daran, dass die Daten, auf deren Basis diese Systeme angelernt wurden, bereits gewisse Ungerechtigkeiten enthielten und diese demzufolge auch im KI-Modell steckten. Die Empfehlungen der KI f\u00fchrten so zum Ausschluss und zur Ungleichbehandlung aufgrund nichtfachlicher Argumente, wie z.B. der Zugeh\u00f6rigkeit zu einer ethnischen Gruppe. Die KI-Qualit\u00e4ten, die bei der Klassifikation von Bewerber*innen im Vordergrund stehen sollten, sind Fairness und Gleichbehandlung. Das Beispiel zeigt auch, dass es nicht allein auf die Genauigkeit der Klassifikation ankommt, sondern darauf, dass auch die Daten, die zum Anlernen von Modellen genutzt werden, gewisse Qualit\u00e4ten aufweisen sollten.<\/p>\n (3) Das dritte Beispiel ist weltweit und insbesondere in Deutschland in aller Munde: Beim automatisierten oder autonomen Fahren ist die KI ein wichtiger Enabler. Hier geht es insbesondere um den zentralen Aspekt der Perzeption, aber auch im Bereich des automatisierten Fahrverhaltens sind Anwendungen denkbar. Das Potenzial des autonomen Fahrens ist gro\u00df. Es bietet zum Beispiel die Grundlage f\u00fcr komplett neu gedachte zuk\u00fcnftige Mobilit\u00e4tskonzepte wie Mobility as a Service. Damit w\u00fcrde sich die Mobilit\u00e4t jedes Einzelnen, aber auch die komplette Mobilit\u00e4tswirtschaft grundlegend \u00e4ndern. Im Vergleich zu den beiden anderen Beispielen kann hier allerdings ein Fehler des KI-Systems nicht nur zu einem materiellen Schaden f\u00fchren, sondern zur Gefahr f\u00fcr Leib und Leben werden \u2013 f\u00fcr das der Insassen sowie weiterer am Stra\u00dfenverkehr beteiligter Personen. Es geht also darum, Fehler oder Fehlverhalten in einem akzeptablen Ma\u00df zu halten. Im Fachjargon geht es um die Funktionale Sicherheit des Systems (Absicherung bezgl. aus Fehlfunktionen resultierender Gef\u00e4hrdungen; siehe ISO 26262) oder engl. Functional Safety, aber auch um die Sicherheit der Normalfunktion, welche aktuell unter dem Begriff Safety of the Intended Functionality adressiert wird (siehe ISO 21448). Abseits der Safety sind im Kontext der zuk\u00fcnftigen Mobilit\u00e4t aber nat\u00fcrlich auch andere Qualit\u00e4ten wie Verf\u00fcgbarkeit oder Datenschutz sehr wichtig.<\/p>\n Wie unsere Beispiele zeigen, ergeben sich also je nach Anwendungsfeld unterschiedliche Qualit\u00e4tsanforderungen an KI-Systeme. In einigen Bereichen, wie z.B. der funktionalen Sicherheit, gibt es bereits eine Vielzahl von Normen<\/a>, die beschreiben, wie sicherheitsrelevante Softwaresysteme zu entwickeln sind (wie z.B. die IEC 61508 f\u00fcr funktionale Sicherheit im Allgemeinen oder die ISO 26262 im Automobilbereich).<\/p>\n Aber selbst Vorgaben \u2013 sofern sie existieren \u2013 sind f\u00fcr KI-Systeme nicht immer passend, oder sie sind unvollst\u00e4ndig, da KI-Komponenten eines Systems fundamental anders entwickelt werden: Die Funktionalit\u00e4t wird insbesondere nicht programmiert, sondern durch das Anwenden von Algorithmen auf Daten erstellt. Dadurch entsteht ein Modell, das von der Software zur Laufzeit lediglich ausgef\u00fchrt wird. Das resultierende Modell ist aufgrund seiner inh\u00e4renten Komplexit\u00e4t im Allgemeinen f\u00fcr den Menschen nicht verst\u00e4ndlich. Damit sind die Entscheidungen eines KI-Systems oft nicht transparent. Zudem k\u00f6nnen die Anforderungen an das KI-System typischerweise nicht vollst\u00e4ndig beschrieben werden. Dennoch muss ein KI-System in einem schier unendlichen Anwendungsraum verl\u00e4sslich funktionieren. Hier kommen etablierte Methoden und Techniken des klassischen Softwaretestens an ihre Grenzen. Ganz kritisch wird es bei selbstlernenden Systemen, also Systemen, die zur Laufzeit dazu lernen und ihr Verhalten anpassen. Auch hier gibt es Beispiele: Zum Beispiel hat ein KI-Chatbot rassistische Ansichten gelernt. Technisch gesehen hatte der Chatbot zwar keine Fehlfunktion, aber \u201cEvery program has (at least) two purposes: the one for which it was written and another for which it wasn’t\u201c (Alan J. Perlis, 1982). Daraus ergibt sich \u201cWe had better be quite sure that the purpose put into the machine is the purpose which we really desire\u201d (Norbert Wiener, 1960).<\/p>\n Trotz der Vielzahl an Anwendungsm\u00f6glichkeiten gilt es also, etwaige Risiken beim KI-Einsatz<\/a> genau zu analysieren und schon bei der Konzeption des KI-Systems entsprechend abzusichern.<\/p>\n Dependability oder die Verl\u00e4sslichkeit eines Systems beschreibt die F\u00e4higkeit, nicht akzeptable Fehler bei der Erbringung eines Dienstes oder einer Funktionalit\u00e4t zu vermeiden (Jean-Claude Laprie). Dependability beinhaltet dabei z.B. die Verf\u00fcgbarkeit oder Zuverl\u00e4ssigkeit eines Dienstes, aber insbesondere auch die funktionale Sicherheit (Safety), um katastrophale Folgen f\u00fcr die Nutzer und die Umgebung zu vermeiden (also schwerwiegende oder gar t\u00f6dliche Unf\u00e4lle als Folge von Fehlern). Aber auch die Integrit\u00e4t und Zugriffssicherheit (Security) eines Systems oder dessen Wartbarkeit sind Qualit\u00e4tseigenschaften, die im Kontext von Dependability genannt werden.<\/p>\n Beim Engineering verl\u00e4sslicher KI-Systeme geht es entsprechend darum, mittels Prinzipien aus dem Systems- und Software-Engineering bei der Konstruktion, der Verifikation\/Validation und dem Betrieb von KI-Systemen die Verl\u00e4sslichkeit systematisch zu gew\u00e4hrleisten und insbesondere auch gesetzliche und normative Vorgaben bzgl. der Verl\u00e4sslichkeit von Beginn an zu ber\u00fccksichtigen.<\/p>\n H\u00f6ren Sie auch in unserem Podcast MORGEN DENKER<\/em><\/a> mehr zu Dependable AI. Im Interview: Dr. Jens Heidrich, Division Manager Smart Digital Solutions am Fraunhofer IESE<\/p>\n <\/p>\n Die Anwendungsfelder von KI im Allgemeinen sind vielf\u00e4ltig: In den Zukunftsszenarien fast aller Branchen spielt KI eine entscheidende Rolle \u2013 ob Smart Mobility, Smart Production\/Industrie 4.0, Digital Health, Smart Farming, Smart City oder Smart Region. Die meisten Szenarien basieren darauf, dass datenbasierte intelligente Systeme angelernt werden, die aufgrund ihrer Komplexit\u00e4t nicht durch klassisches Programmieren konstruiert werden k\u00f6nnen. Mit Verfahren wie dem Maschinellem Lernen wird versucht, ein hoch komplexes Problem zu l\u00f6sen, indem Modelle auf einer riesigen Menge von Daten erlernt werden.<\/p>\n KI-Ans\u00e4tze k\u00f6nnen dabei dazu verwendet werden, entweder existierende Prozesse zu optimieren (wie effizientere Wartung von Maschinen oder Sortierung von Werkst\u00fccken) oder vollkommen neue nutzerorientierte Produkte und Dienste zu schaffen (wie intelligente Mobilit\u00e4tsdienste auf Basis von autonomen Fahrzeugen).<\/p>\n Die Potenziale, die KI f\u00fcr die Wirtschaft beinhaltet, wurden in verschiedensten Studien untersucht. Diese Studien sagen f\u00fcr die n\u00e4chsten Jahre sowohl f\u00fcr Deutschland als auch weltweit ein starkes Wachstum vorher. Ein Gro\u00dfteil des Zuwachses wird durch v\u00f6llig neue und st\u00e4rker nutzerorientierte Produkte erwartet. Das Potenzial ist gewaltig, aber auch die Konkurrenz im globalen Wettbewerb ist gro\u00df. L\u00e4nder wie die USA und China investieren in gro\u00dfem Ma\u00dfstab und sind aufgrund ihrer Strukturen und ihrer Mentalit\u00e4t ein g\u00fcnstiges Umfeld f\u00fcr Start-ups und die schnelle Etablierung neuer innovativer Produkte und Services. Um sich im Wettbewerb zu behaupten, m\u00fcssen sich Europa und Deutschland daher auf eigene St\u00e4rken besinnen: ingenieurm\u00e4\u00dfig entwickelte Qualit\u00e4t und Verl\u00e4sslichkeit!<\/p>\n Denn f\u00fcr viele der eingangs erw\u00e4hnten Zukunftsszenarien ist Dependable AI entscheidend f\u00fcr den Erfolg. Dies betrifft zum Beispiel alles rund um hochautomatisierte bzw. Autonome Systeme und kognitive Systeme in sicherheitskritischen Anwendungsfeldern. Ohne Verl\u00e4sslichkeit kein Vertrauen (Trust und Trustworthiness) und ohne Vertrauen keine Akzeptanz und kein Erfolg. Schlie\u00dflich w\u00fcrde kaum jemand autonome Fahrzeuge nutzen oder mit lernf\u00e4higen Robotern im Arbeitsumfeld zusammenarbeiten, wenn diese nicht grunds\u00e4tzlich sicher sind, was ihre Funktionsweise im daf\u00fcr vorgesehenen Umfeld (wie im Stra\u00dfenverkehr oder in der Fabrik) betrifft.<\/p>\n F\u00fcr die Zukunft eines Unternehmens ist es heute wichtiger denn je zu wissen, wo das Potenzial beim KI-Einsatz im jeweiligen Anwendungsbereich liegt und mit welchen Verfahren man verl\u00e4ssliche KI-Systeme bauen kann. Hier nehmen Deutschland und Europa mit der sehr ausgepr\u00e4gten Forschung im Bereich \u00bbDependability\u00ab und \u00bbSafety\u00ab eine Vorreiterrolle ein.<\/p>\n Die Herausforderungen bei der Entwicklung von KI-Systemen im Allgemeinen und verl\u00e4sslichen KI-Systemen im Besonderen sind vielschichtig. Sie reichen von der KI-Strategie \u00fcber konkrete technische Fragestellungen zur Absicherung des KI-Systems bis hin zu den verf\u00fcgbaren Kompetenzen im Unternehmen. Wir sehen diesbez\u00fcglich die folgenden Top 10 (in keiner bestimmten Reihenfolge) der typischen Praxisprobleme :<\/p>\n Typische Anwendungsfelder f\u00fcr Dependable AI sind Systeme, bei denen es um die Verl\u00e4sslichkeit des KI-Systems \u2013 also die Beherrschung des Risikos von Fehlern oder Fehlverhalten \u2013 geht.<\/p>\n Smart Mobility:<\/em><\/strong> Hochautomatisierte und autonome Fahrzeuge werden die Bereiche Mobilit\u00e4t und Logistik (Warentransport) vollst\u00e4ndig ver\u00e4ndern und neue digitale Dienste entstehen lassen. Aber die Risiken eines solchen Fahrzeugs m\u00fcssen f\u00fcr Nutzende und mit dem Fahrzeug interagierende Personen (wie Passanten) akzeptabel sein. Was genau ein akzeptables Risiko ist, wird aktuell noch diskutiert, z.B. auch von Ethikkommissionen. Grundlegende Elemente, die bereits weithin akzeptiert werden, sind die positive Risikobilanz (Positive Risk Balance) und das Prinzip ALARP (As Low as Reasonably Practicable). Bei der positiven Risikobilanz wird sichergestellt, dass die Gefahren f\u00fcr Leib und Leben geringer sind, als wenn eine Person das System manuell bedienen w\u00fcrde. Bei ALARP muss nachgewiesen werden, dass alles zur Risikominderung getan wird, was vern\u00fcnftigerweise \u2013 je nach Machbarkeit und Aufwand \u2013 getan werden kann.<\/p>\n Industrie 4.0:<\/em><\/strong> KI ist einer der St\u00fctzpfeiler der vierten industriellen Revolution hin zu einer intelligenten Fabrik, die hochflexibel individualisierte Produkte entstehen l\u00e4sst. Neben Szenarien wie Production-as-a-Service<\/a> oder Predictive Maintenance werden auch neue intelligente Maschinen eingesetzt. Fahrerlose Transportsysteme planen ihre Fahrten eigenst\u00e4ndig und passen diese an die Nachfrage an. Cobots unterst\u00fctzen Fabrikarbeiter und k\u00f6nnen effizient f\u00fcr verschiedenste Arbeiten angelernt werden. Heutzutage werden Mechanismen wie Lichtschranken und Sicherheitsk\u00e4fige benutzt, die das System v\u00f6llig deaktivieren, sollte ein Mensch in die Schutzzone gelangen. Somit kann allerdings der gew\u00fcnschte Grad der engen Interaktion mit dem Menschen nicht erreicht werden. Zuk\u00fcnftig bedarf es auch intelligenterer Schutzfunktionen bei der Benutzung von und der Interaktion mit solchen Systemen, damit ein Mensch keinem erh\u00f6hten Risiko ausgesetzt wird.<\/p>\n Digital Health:<\/em><\/strong> Schon heute werden Mediziner bei der Pr\u00e4vention, Diagnose und Therapie von Krankheiten durch KI-Systeme unterst\u00fctzt. Die KI ist dabei oft f\u00fcr fortgeschrittene Bild- und Datenauswertung (z.B. bei der Interpretation eines CT-Bildes) zust\u00e4ndig. Sie erlaubt qualitativ hochwertige Analysen in einer H\u00e4ufigkeit, die auf herk\u00f6mmlichem Wege nicht zu erreichen sind. Selbst bei Operationen werden heute schon erste Robotersysteme eingesetzt, die jedoch vom Menschen kontrolliert werden. Doch je mehr sich Mediziner auf solche Systeme st\u00fctzen und je h\u00f6her zuk\u00fcnftig der Autonomiegrad von KI-Systemen wird, desto wichtiger wird die Beherrschung des Risikos eines Fehlers und eines Fehlverhaltens der KI.<\/p>\n Bei der Absicherung eines verl\u00e4sslichen KI-Systems m\u00fcssen verschiedenste Verfahren bei der Konstruktion, der Verifikation\/Validation (V&V) und beim Betrieb in Abh\u00e4ngigkeit von der Kritikalit\u00e4t der Funktionalit\u00e4t des Systems angewandt werden. Abbildung 2 zeigt grundlegende Prozessbereiche in einem W-Modell. Dabei unterscheiden wir verschiedene Aktivit\u00e4ten im Lebenszyklus eines KI-Systems (X-Achse) und verschiedene Stakeholder, die in den unterschiedlichen Phasen beteiligt sind: von der Managementebene bis hin zur operativen\/technischen Ebene. Die Darstellung der Aktivit\u00e4ten und Ebenen orientiert sich an der VDE-AR-E 2842-61, welche ein Referenzmodell f\u00fcr vertrauensw\u00fcrdige KI definiert (entwickelt von der DKE, der in VDE und DIN zust\u00e4ndigen Organisation f\u00fcr die Erarbeitung von Normen). Grunds\u00e4tzlich orientiert sich der Prozess an einem ganzheitlichen Systems-Engineering-Ansatz. Dabei ist es je nach Anwendungsfeld \u00fcblich, dass einzelne Systemkomponenten als Blackbox von Zulieferern in das Gesamtsystem integriert werden m\u00fcssen.<\/p>\n Verl\u00e4sslichkeitsanalysen:<\/em><\/strong> In Abh\u00e4ngigkeit von der Kritikalit\u00e4t des Systems werden auf Systemebene weitere Analysen (z.B. bzgl. funktionaler Sicherheit) durchgef\u00fchrt, um die Anforderungen bez\u00fcglich der Verl\u00e4sslichkeit systematisch zu erheben und um die regulatorischen und gesetzlichen Vorgaben bei der Entwicklung zu ber\u00fccksichtigen. Hier w\u00fcrden beispielsweise Hazard and Risk Analysis (HARA; funktionale Sicherheit) oder Threat Analysis and Risk Assessment (TARA; Security) durchgef\u00fchrt werden, um die \u00fcbergeordneten Safety- und Security-Anforderungen zu identifizieren. Auf Basis dieser und weiterer Analysen sollte dann die Grundstruktur der Verl\u00e4sslichkeitsargumentation erzeugt werden. Die Anforderungen werden sp\u00e4ter gem\u00e4\u00df der Systemarchitektur und gest\u00fctzt durch etablierte Techniken wie FMEA und FTA weiter heruntergebrochen und an Systemkomponenten allokiert. So erhalten auch KI-Komponenten dedizierte Anforderungen bez\u00fcglich ihrer Verl\u00e4sslichkeit.<\/p>\n Konstruktion:<\/em><\/strong> Das System wird im Rahmen klassischer Ans\u00e4tze des Systems Engineerings (wie ISO\/IEC 15288 oder 12207) in Teilsysteme zerlegt, die aus Software und Hardware bestehen k\u00f6nnen. Diese Software-Teilsysteme bestehen wiederum aus klassischen Softwarekomponenten und solchen, die KI beinhalten und eine Normal- oder Sicherheitsfunktion des Systems abbilden. Softwarekomponenten werden heutzutage in einem agilen Entwicklungsprozess erstellt (wie z.B. Scrum), der parallel zur Entwicklung der Hardware erfolgt. Auch KI-Komponenten werden \u00fcblicherweise in einem hoch iterativen Prozess entwickelt, der sich aber eher an g\u00e4ngigen Vorgehen aus dem Bereich Data Science<\/a> orientiert (wie CRISP-DM). Wenn Verfahren des Maschinellen Lernens verwendet werden sollen, bedarf es zun\u00e4chst eines geeigneten Trainingsdatensatzes. Dieser sollte basierend auf den Anforderungen systematisch erstellt werden, denn bereits bei den Daten, die genutzt werden, um ein KI-Modell anzulernen, k\u00f6nnen bestimmte Qualit\u00e4ten sichergestellt werden (z.B. in Bezug darauf, dass Daten verwendet werden, welche die intendierten Nutzungskontexte entsprechend ausreichend abdecken). Das entsprechende Vorgehen sollte in der Verl\u00e4sslichkeitsargumentation entsprechend dokumentiert werden. Ausgehend von dem initialen Trainingsdatensatz sollte das Modell inkrementell\/iterativ solange verbessert werden, bis es die vorgegebenen Qualit\u00e4tskriterien einh\u00e4lt. Man spricht in diesem Zusammenhang von der Evaluation bzw. H\u00e4rtung des KI-Modells. Bez\u00fcglich der Evaluation kommen Testdatens\u00e4tze und ggfs. weitere analytische Techniken, wie zum Beispiel aus dem Bereich der Explainable AI (XAI), zum Einsatz. Auf Basis der Ergebnisse erfolgen Anpassungen der Trainingsdaten und ein erneutes Training. Dies kann mehrfach wiederholt werden und auch Hand in Hand mit anderen Ma\u00dfnahmen auf Architekturebene gehen.<\/p>\n Ein zentrales Element f\u00fcr die Sicherstellung einer Dependable AI stellt die Systemarchitektur dar. Hier gibt es z.B. Architekturen, die eine Art Sicherheitscontainer um die KI legen. Diese Safety-Supervisor- oder Simplex-Architekturen \u00fcberschreiben die KI-Entscheidung, falls diese zu einem gef\u00e4hrlichen Verhalten des KI-Systems f\u00fchren w\u00fcrde. Dazu ist es wichtig, z.B. die Unsicherheit<\/a> der KI-Empfehlung unter bestimmten Nutzungsbedingungen zu kennen und darauf basierend das Risiko einer fehlerhaften Entscheidung zu ermitteln. Die Entwicklung solcher Ma\u00dfnahmen zur Absicherung ist eng mit der Entwicklung der KI-Komponente verzahnt. Erkannte und gem\u00e4\u00df den Anforderungen der Verl\u00e4sslichkeit besonders kritische Schwachstellen werden gezielt adressiert. Letztlich muss die Kombination aus KI-Komponenten und (konventionellen) Ma\u00dfnahmen zur Absicherung so gestaltet sein, dass eine stichhaltige Argumentation bez\u00fcglich der Einhaltung der Anforderungen m\u00f6glich ist.<\/p>\n Systemintegration und Qualit\u00e4tssicherung:<\/em> <\/strong>Anschlie\u00dfend werden die Einzelkomponenten des Systems zum Gesamtsystem integriert und im Ganzen validiert. Erst dann kann das System nach Durchlauf definierter Akzeptanz- und Release-Kriterien nach au\u00dfen gegeben werden (z.B. nach geforderten Testing- und Auditing-Prozessen). Die Verl\u00e4sslichkeitsargumentation wird mit den im Rahmen der Qualit\u00e4tssicherung erarbeiteten Evidenzen finalisiert, damit die Einhaltung aller geforderten Anforderungen klar belegt werden kann. Eine Digital Dependability Identity (DDI) sammelt z.B. zentral alle Spezifikationen (formalisiert und verlinkt durch die Verl\u00e4sslichkeitsargumentation als Assurance Case), die f\u00fcr die Dependability des jeweiligen Systems relevant sind und wird gemeinsam mit diesem ausgeliefert.<\/p>\n In der Praxis wird dieser Gesamtprozess zur Konstruktion und Verifikation\/Validation je nach Gr\u00f6\u00dfe und Komplexit\u00e4t des Systems und des Entwicklungsprojekts auch mit mehreren Iterationen durchlaufen.<\/p>\n Betrieb<\/strong>:<\/em> Der Lebenszyklus eines KI-Systems endet nicht mit der Bereitstellung des Systems. W\u00e4hrend der Betriebsphase geht es darum, das aktuelle Risiko und die Performanz des Systems zu \u00fcberwachen und aus dem tats\u00e4chlichen Verhalten zu lernen, wie das KI-System bzw. KI-Modell verbessert werden kann (z.B. Field Feedback, DevOps oder Continuous Engineering). Wir sprechen hier von Dynamic Risk Management<\/a>, welches feingliedrig in das Verhalten des Systems eingreifen kann, um ein potenziell erh\u00f6htes Risiko wieder mittels entsprechender Gegenma\u00dfnahmen (wie z.B. Fahren mit geringerer Geschwindigkeit) zu reduzieren. Gibt es andererseits zu einem bestimmten Zeitpunkt ein nur sehr geringes Risiko, kann die Performanz (wieder) erh\u00f6ht werden (also z.B. Fahren mit h\u00f6herer Geschwindigkeit). Mechanismen zur Laufzeit werden noch wichtiger, wenn wir in die Zukunft schauen und von KI-Systemen sprechen, die \u00fcber ihre Laufzeit hinweg weiterlernen und demzufolge ihr Verhalten anpassen k\u00f6nnen. Da man potenziell zum Entwurfszeitpunkt des KI-Systems nicht wissen kann, auf Basis welcher Daten die KI weiterlernt, m\u00fcssen entsprechende Leitplanken f\u00fcr das Verhalten definiert und in entsprechende Mechanismen in die Laufzeit gebracht werden, welche dynamisch das Risiko von Fehlverhalten minimieren.<\/p>\n Die Nutzung von KI-Systemen er\u00f6ffnet gro\u00dfe M\u00f6glichkeiten und verspricht in den n\u00e4chsten Jahren ein hohes Wirtschaftswachstum. Gleichzeitig herrscht aber auch ein harter globaler Wettbewerb. In Deutschland liegt ein starker Fokus auf industriellen KI-Anwendungen, wie in der Mobilit\u00e4t\/Logistik, der Industrie 4.0 oder der Medizintechnik. Gerade in diesen Branchen ist es von essenzieller Bedeutung, dass KI-Systeme sicher, verl\u00e4sslich und vertrauensw\u00fcrdig sind.<\/p>\n Um diese Qualit\u00e4ten zu garantieren und das Risiko eines KI-Systems transparent und beherrschbar zu machen, m\u00fcssen einige grundlegende Fragen aus Sicht eines Unternehmens beantwortet werden:<\/p>\n Ganzheitliche Referenzmodelle (wie das oben gezeigte W-Modell basierend auf VDE-AR-E 2842-61) helfen dabei, diese Fragen systematisch in einem iterativen, inkrementellen Entwicklungsansatz zu beantworten. Auch wenn an vielen Stellen noch weitere Forschungsarbeit notwendig ist, so sind doch schon heute viele konkrete L\u00f6sungsbausteine verf\u00fcgbar, um verl\u00e4ssliche KI-Systeme zu konstruieren und zu betreiben.<\/p>\n Einen umfassenden \u00dcberblick \u00fcber \u00bbVerl\u00e4ssliche KI\/Dependable AI\u00ab und die L\u00f6sungsbausteine des Fraunhofer IESE finden Sie hier:<\/p>\n <\/p>\n <\/p>\n <\/p>\n Dar\u00fcber hinaus greifen wir das Thema Dependable AI auch in unserem MORGEN DENKER<\/em>-Podcast<\/a> zum 25. Jubil\u00e4um des Fraunhofer IESE<\/a> auf. H\u00f6ren Sie gerne mal rein.<\/p>\n <\/p>\n <\/p>\n <\/p>\n Falls Sie Fragen zu \u00bbDependable AI\u00ab haben, nach Partnern im Rahmen \u00f6ffentlich gef\u00f6rderter Forschungsvorhaben suchen oder ein konkretes Problem bei der Absicherung Ihres KI-Systems haben, z\u00f6gern Sie nicht, unsere konkreten Ansprechpartner zu kontaktieren!<\/p>\n <\/p>\n ______________________________________________________________________<\/p>\n <\/p>\nWas versteht man unter verl\u00e4sslicher KI bzw. Dependable AI?<\/h3>\n
\n
Welche M\u00f6glichkeiten er\u00f6ffnen sich durch verl\u00e4ssliche KI bzw. Dependable AI?<\/h3>\n
Welche Herausforderungen m\u00fcssen bei der Entwicklung verl\u00e4sslicher KI-Systeme beherrscht werden?<\/h3>\n
\n
Bei welchen Anwendungen steht die Verl\u00e4sslichkeit des KI-Systems im Fokus?<\/h3>\n
Wie erfolgt die Entwicklung verl\u00e4sslicher KI-Systeme?<\/h3>\n
![\"Prozessbereiche](\"https:\/\/www.iese.fraunhofer.de\/blog\/wp-content\/uploads\/2021\/03\/DependableAI_FraunhoferIESE.jpg\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t
\nStrategie:<\/em><\/strong> Der Gesamtprozess beginnt mit der Erstellung der Gesch\u00e4ftsstrategie und dem Herausarbeiten der konkreten Potenziale\/Mehrwerte, die von einem KI-System erwartet werden. Daraus werden technische Anforderungen auf Systemebene und ein konkretes L\u00f6sungskonzept abgeleitet.<\/p>\nFazit<\/h3>\n
\n
Mehr zu Dependable AI<\/h3>\n
\n
![\"Morgen](\"https:\/\/www.iese.fraunhofer.de\/blog\/wp-content\/uploads\/2021\/03\/cover_morgendenker_1400px-400x400.jpg\")
<\/p>\n\n