Fraunhofer-Institut für Experimentelles Software Engineering IESESafe AI - Sichere Lösungen, die KI enthalten
Technische Systeme autonom zu machen ist einer der aktuellen Megatrends in der Industrie. Künstliche Intelligenz (AI) ist einer der Schlüsselfaktoren für die Umsetzung dieser Autonomie. Maschinelles Lernen (ML) und insbesondere Deep Learning (DL) wird für die Implementierung von Funktionalitäten für die Autonomie verwendet. Erfolgreiche Beispiele zeigen exzellente Leistung bei bestimmten Aufgaben, wie z.B. der Klassifizierung von Objekten in Live-Bildern. Da ein autonomes System Teil eines größeren Ökosystems ist, kann sein Versagen zu wirtschaftlichen oder sogar persönlichen Schäden führen. Daher sind besondere Maßnahmen erforderlich, um die funktionale Sicherheit der Systeme und insbesondere solcher, die KI enthalten, sicherzustellen. Bestehende Methoden, wie sie von Normen wie z.B. der IEC 61508 vorgegeben werden, sind nur zum Teil anwendbar oder decken nicht den vollen Umfang des Themas funktionale Sicherheit autonomer Systeme ab.
ML bedeutet auch einen Wandel des Entwicklungsparadigmas: Bei der Entwicklung eines klassischen Systems wird dieses typischerweise unter Berücksichtigung von Safety-Anforderungen spezifiziert, implementiert und getestet. Wird dagegen ML für bestimmte, üblicherweise komplexe Aufgaben eingesetzt, so generiert ein Algorithmus ein Modell, das in dem finalen System auf Basis der Daten (oder Trial & Error) verwendet wird. Man könnte sagen, dass die Algorithmen dann »Code« produzieren. Allerdings ist bekannt, dass die Art, wie diese Modelle erstellt werden, (oft) nicht deterministisch ist. Außerdem hängt die Qualität solcher Modelle u.a. von den Daten, dem Prozess, den verwendeten Algorithmen (Produkt) und dem Bewusstsein der Entwickler (Menschen) ab. Die ganze Situation wird ferner noch dadurch verschlimmert, dass aktuelle Verifikations- und Validierungsmethoden durch fehlende Spezifikationen und die Nicht-Interpretierbarkeit ML-basierter Lösungen beeinflusst werden.