{"id":12222,"date":"2024-08-16T09:05:55","date_gmt":"2024-08-16T07:05:55","guid":{"rendered":"https:\/\/www.iese.fraunhofer.de\/blog\/?p=12222"},"modified":"2024-08-19T12:25:54","modified_gmt":"2024-08-19T10:25:54","slug":"badgers-open-source-python-bibliothek","status":"publish","type":"post","link":"https:\/\/www.iese.fraunhofer.de\/blog\/badgers-open-source-python-bibliothek\/","title":{"rendered":"BADGERS: Die Robustheit K\u00fcnstlicher Intelligenz durch Fehlerinjektion untersuchen"},"content":{"rendered":"

Wie kann man KI-Systeme testen, und warum k\u00f6nnen schlechte Daten dabei helfen? In diesem Blogbeitrag erkl\u00e4rt unser KI-Experte Dr. Julien Siebert, wie man KI-Systeme durch Fehlerinjektion mit unserer Badgers-Bibliothek testen kann.<\/p>\n

Auswirkungen mangelnder Datenqualit\u00e4t<\/h2>\n

Datenqualit\u00e4tsprobleme sind bei der Entwicklung und Bereitstellung von KI- und ML-Anwendungen eine zentrale Herausforderung. Ungenaue, unvollst\u00e4ndige oder inkonsistente Daten k\u00f6nnen zu falschen Ergebnissen f\u00fchren. Daher ist es wichtig, dass Systeme in der Lage sind, mit solchen Unzul\u00e4nglichkeiten umzugehen. Fehlerinjektion, d. h. die absichtliche Einf\u00fchrung von Fehlern in ein System, um dessen Robustheit zu bewerten, ist eine wichtige Methode, um zu beurteilen, wie KI-\/ML-Anwendungen mit realen Datenproblemen umgehen.<\/p>\n

\"\"
Ein klassisches Data Science Meme: Blaubeer-Muffin oder Chihuahua (erstellt mit https:\/\/imgflip.com\/memegenerator, Weitere Beispiele<\/a>).<\/figcaption><\/figure>\n

Potenzial der Fehlerinjektion<\/h2>\n

Die Bedeutung der Fehlerinjektion liegt in ihrer F\u00e4higkeit, potenzielle Schwachstellen in KI-\/ML-Systemen aufzudecken, bevor diese in kritischen Umgebungen eingesetzt werden. Und nur ein methodischer Ansatz tr\u00e4gt dazu bei, die Zuverl\u00e4ssigkeit und Stabilit\u00e4t dieser Systeme unter ung\u00fcnstigen Bedingungen zu gew\u00e4hrleisten. Die Erzeugung von Fehlern, die die Komplexit\u00e4t der realen Welt genau widerspiegeln, ist jedoch eine anspruchsvolle Aufgabe. Sie erfordert ein tiefes Verst\u00e4ndnis der spezifischen Dom\u00e4ne und der Funktionalit\u00e4t des Systems, das die Daten erzeugt.<\/p>\n

Ursache von Datenqualit\u00e4tsproblemen<\/h2>\n

Probleme mit der Datenqualit\u00e4t k\u00f6nnen bei der Datenerhebung oder im System selbst auftreten. Messungen k\u00f6nnen ungenau sein, Daten k\u00f6nnen verloren gehen oder ver\u00e4ndert werden, und Einschr\u00e4nkungen bei der Datenerhebung k\u00f6nnen zu unvollst\u00e4ndigen Datens\u00e4tzen f\u00fchren. Das System selbst kann ausfallen, die Umgebung kann sich \u00e4ndern, oder es treten Unterschiede in der Art und Weise auf, wie das System genutzt wird.<\/p>\n

\"\"
Ein weiteres klassisches Data Science Meme (erstellt mit https:\/\/imgflip.com\/memegenerator).<\/figcaption><\/figure>\n

Datenqualit\u00e4tsprobleme generieren<\/h2>\n

Fehler, die sich aus dem Prozess der Datenerhebung ergeben, sind relativ einfach zu erzeugen, da sie weitgehend unabh\u00e4ngig von der Funktionsweise des Systems sind. Im Prinzip k\u00f6nnen solche Fehler den vorhandenen Daten hinzugef\u00fcgt werden. So kann z. B. wei\u00dfes Rauschen hinzugef\u00fcgt werden, oder Werte k\u00f6nnen zuf\u00e4llig gel\u00f6scht werden.<\/p>\n

Fehler, die aus einer \u00c4nderung des Systems selbst resultieren, sind schwieriger zu erzeugen, da sie ein Verst\u00e4ndnis der Systemfunktion und der Datengenerierung erfordern. Dieses Verst\u00e4ndnis des zugrundeliegenden Systems kann entweder von Dom\u00e4nenexperten oder aus der Theorie (d. h. der Physik des Systems) stammen. Das Problem ist, dass ML-\/KI-basierte Softwarekomponenten genau dann eingesetzt werden, wenn dieses tiefe Verst\u00e4ndnis fehlt. Das hei\u00dft, wenn nur Daten vorhanden sind, aber keine\/wenig Theorie dar\u00fcber, wie die Daten generiert wurden (siehe auch unseren Blogbeitrag zu diesem Thema: Datenqualit\u00e4t und Kausalit\u00e4t<\/a>).<\/p>\n

BADGERS: Ba<\/strong>d D<\/strong>ata Ge<\/strong>nerators<\/strong><\/h2>\n

Unsere Open-Source Badgers-Bibliothek<\/a> (Code: https:\/\/github.com\/Fraunhofer-IESE\/badgers<\/a>, Dokumentation: https:\/\/fraunhofer-iese.github.io\/badgers\/<\/a>) hat zwei Hauptziele:<\/p>\n

    \n
  1. Den Stand der Technik bei der Generierung von Datenqualit\u00e4tsdefiziten sammeln und \u00fcber eine einfache API zug\u00e4nglich machen.<\/li>\n
  2. Eine einfache M\u00f6glichkeit bieten, systematische Robustheitstests von ML-basierten Komponenten durchzuf\u00fchren.<\/li>\n<\/ol>\n

    Das Grundprinzip der Badgers-Bibliothek besteht darin, vorhandene Daten zu transformieren, indem Datenqualit\u00e4tsm\u00e4ngel wie Ausrei\u00dfer, Rauschen, fehlende Werte, Drift usw. eingef\u00fcgt werden.<\/p>\n

    \"\"
    Beispiel f\u00fcr das Hinzuf\u00fcgen von Ausrei\u00dfern mit der Badgers-Bibliothek<\/a><\/figcaption><\/figure>\n

    Das Herzst\u00fcck der Badgers-Bibliothek sind die so genannten Generatoren-Objekte. Sie sind nach Art der Daten (Modalit\u00e4t) und nach Art des Datenqualit\u00e4tsproblems organisiert. Jeder Generator implementiert eine Generierungsfunktion generate(X,y)<\/code>, die die Features X<\/code> und die Labels (oder Ziele) y<\/code> als Eingabe nimmt und die modifizierten Daten X_transformed<\/code> und Labels y_transformed<\/code> zur\u00fcckgibt.<\/p>\n

    Der folgende Code zeigt zum Beispiel, wie man aus Tabellendaten Ausrei\u00dfer erzeugen kann:
    \ntrf = LowDensitySamplingGenerator(n_outliers=10, threshold_low_density=0.25)
    \noutliers, _ = trf.generate(X.copy(), y, max_samples=100)<\/code><\/p>\n

    Die Bibliothek ist derzeit in Entwicklung. Einfache, aber effektive Rezepte zur Erzeugung von Qualit\u00e4tsproblemen in verschiedenen Modalit\u00e4ten (tabellarische Daten, Zeitreihen, Text, Diagramme) sind bereits implementiert. Mehrere Tutorials sind hier verf\u00fcgbar: https:\/\/fraunhofer-iese.github.io\/badgers\/<\/a><\/p>\n

    \n

    Mehr zum Thema Kausalit\u00e4t und Datenqualit\u00e4t:<\/strong><\/p>\n