Künstliche Intelligenz (KI) steckt heutzutage bereits in vielen Systemen: vom Sprachassistenten bis hin zu intelligenten Algorithmen, die unser Verhalten beim Online-Shopping oder in Social Media auswerten. In Zukunft werden uns KI-Systeme noch viel häufiger begegnen und das insbesondere in kritischen Anwendungsfeldern, wie autonomem Fahren, Produktionsautomatisierung/Industrie 4.0 oder Medizintechnik. Aufbau und Betrieb von zuverlässigen KI-Systemen stellen in der Praxis eine Herausforderung dar, da viele klassische Qualitätssicherungsverfahren nicht oder nur eingeschränkt auf KI-Komponenten angewendet werden können: Beim maschinellen Lernen (ML) beispielsweise wird die Funktionalität durch Anwendung von Algorithmen auf Daten erzeugt und nicht auf herkömmliche Weise programmiert; das dabei entstehende Modell ist für Menschen schwer verständlich.
Fujitsu Laboratories Limited ist eines der führenden Unternehmen, wenn es um die Erforschung von erklärbarer KI geht, was bedeutet, dass die Gründe für Entscheidungen für Menschen einfach zu verstehen sind. In diesem Projekt entwickelten das Fraunhofer IESE und Fujitsu Laboratories Limited gemeinsam ein Qualitätsmodell für ML-basierte Komponenten in einem Softwaresystem. Dazu wurden kritische Qualitätsanforderungen aus verschiedenen Phasen des Data-Science-Lebenszyklus identifiziert und relevante Qualitätseigenschaften verschiedener Entitäten in einem ML-basierten System definiert (wie die Robustheit des angelernten Modells, die Ausgewogenheit der verwendeten Daten oder die Eignung der Infrastruktur). Es wurden auch beispielhafte Messgrößen für die Quantifizierung kritischer Eigenschaften sowie ein Prozess für die systematische Auswertung von Messdaten vorgeschlagen.
Ein solches Qualitätsmodell hilft dabei, die Einhaltung von Qualitätsanforderungen objektiv zu bewerten. Darüber hinaus kann der im Projekt entwickelte Prozess zur Erstellung und Anpassung eines Qualitätsmodells in verschiedenen Anwendungsszenarien eingesetzt werden.
Weitere Details sind in folgenden Publikationen zu finden:
Julien Siebert, Lisa Joeckel, Jens Heidrich, Adam Trendowicz, Koji Nakamichi, Kyoko Ohashi, Isao Namba, Rieko Yamamoto, Mikio Aoyama. Construction of a Quality Model for Machine Learning Systems. Software Quality Journal. Software Quality Journal 3/2021.
Julien Siebert, Lisa Jöckel, Jens Heidrich, Koji Nakamichi, Kyoko Ohashi, Isao Namba, Rieko Yamamoto, Mikio Aoyama. Towards Guidelines for Assessing Qualities of Machine Learning Systems. QUATIC 2020: 17-31.
Koji Nakamichi, Kyoko Ohashi, Isao Namba, Rieko Yamamoto, Mikio Aoyama, Lisa Jöckel, Julien Siebert, Jens Heidrich. Requirements-Driven Method to Determine Quality Characteristics and Measurements for Machine Learning Software and Its Evaluation. RE 2020: 260-270.