Fraunhofer-Institut für Experimentelles Software Engineering IESESafe AI - Sichere Lösungen, die KI enthalten#
Methoden der Künstlichen Intelligenz (AI), wie Maschinelles Lernen (ML) und insbesondere Deep Learning (DL), sind weit verbreitet, wenn es um unkritische Anwendungen wie Sprachassistenten geht. Im safetykritischen Umfeld gibt es zwar auch viele Anwendungsfälle mit enormem wirtschaftlichem Potenzial, aber das Potenzial kann aktuell noch nicht voll ausgeschöpft werden. Ein prominentes Beispiel ist die Nutzung von ML-basierter Objekterkennung für das automatisierte Fahren. Es gibt sehr viele Ansätze, um ML-basierte Komponenten verlässlicher zu machen, und aufgrund der intensiven Forschung gibt es zunehmend neue Ansätze. Hersteller sollen sich an den Stand der Wissenschaft und der Technik halten, aber wie soll das funktionieren, wenn die Wissenschaft quasi täglich neue Ergebnisse publiziert und diese möglicherweise noch unterschiedliche Standpunkte vertreten? Sicherheitsnormen sollen den gesicherten Stand der Technik beschreiben, aber traditionelle Normen wie die Sicherheitsgrundnorm IEC 61508 berücksichtigen die KI-Entwicklung nicht. Sie gehen davon aus, dass Sicherheitsfunktionen ohne KI realisiert werden und KI-Komponenten durch diese traditionellen Sicherheitsfunktionen abgesichert werden. Es gibt zwar viele Normen, die sich mit KI beschäftigen, aber im Hinblick auf Safety nicht ausreichen, beziehungsweise auf traditionelle Sicherheitsnormen verweisen, wie beispielsweise der technische Report ISO/IEC TR 24028 „Overview of trustworthiness in artificial intelligence”. Der aktuell entstehende technische Bericht ISO/IEC AWI TR 5469 „Functional safety of AI-based systems“ könnte beantworten, was allgemein akzeptiert ist es, wenn es um die Nutzung von KI im safetykritischen Kontext geht. Allerdings wird er keine maßgeschneiderten Safety-Konzepte liefern können. Dazu müssen Safety- und KI-Experten zusammenarbeiten und die Gedanken- und Begriffswelt der jeweils anderen Expertengruppe verstehen.
Der Einsatz von ML bedeutet insbesondere einen Wandel des Entwicklungsparadigmas: Bei der Entwicklung eines klassischen Systems wird dieses typischerweise unter Berücksichtigung von Safety-Anforderungen von Ingenieuren spezifiziert, verfeinert, implementiert und getestet. Wird dagegen ML für bestimmte, üblicherweise komplexe Aufgaben eingesetzt, so dient ein Satz von Beispieldaten als Detailspezifikation; ein Lernalgorithmus generiert auf dieser Basis ein Modell, das im finalen System, nach seiner Prüfung auf weiteren Beispieldaten, verwendet wird, um eine bestimmte Funktion umzusetzen. Allerdings ist bekannt, dass die Art, wie diese Modelle erstellt werden, (oft) nicht deterministisch ist. Außerdem hängt die Qualität solcher Modelle u.a. von den verwendeten Daten, dem Prozess, den verwendeten Lernalgorithmen (Produkt) und der Expertise der Entwickler (Menschen) ab. Der Umstand, dass viele etablierte Verifikations- und Validierungsmethoden durch das Fehlen einer echten Spezifikation und die Nicht-Interpretierbarkeit ML-basierter Lösungen nur partiell anwendbar sind, verkompliziert die Situation hierbei weiter.