\u00bbMaschinelles Lernen<\/a>\u00ab: Diesen Begriff hat wohl jede*r von uns schon einmal geh\u00f6rt. Er verspricht unserer Gesellschaft Gro\u00dfes, weckt Erwartungen und f\u00fchrt damit h\u00e4ufig auch zu Missverst\u00e4ndnissen. Ein h\u00e4ufiges Missverst\u00e4ndnis im Kontext von Machine Learning besteht beispielsweise darin, dass davon ausgegangen wird, dass Modelle, die auf maschinellem Lernen basieren, sogenannte datengetriebene Modelle<\/a>, auch bei neuartigen Umgebungen und\/oder Situationen wie gewohnt verl\u00e4ssliche Ergebnisse liefern k\u00f6nnen.<\/p>\n Diesem Missverst\u00e4ndnis liegt eine unzureichende Differenzierung dessen zugrunde, was \u00bbLernen\u00ab im Kontext datengetriebener Modelle aktuell tats\u00e4chlich bedeutet und folglich leisten kann. \u00bbLernen\u00ab \u00a0meint in diesem Zusammenhang n\u00e4mlich, dass auf Grundlage einer geeigneten Auswahl von Fallbeispielen in Form von Datenpunkten ein Konzept oder Zusammenhang generalisiert werden kann. Das bedeutet, dass das Modell nicht die Datenpunkte selbst memoriert, sondern von diesen abstrahiert. Ein Modell zur Verkehrsschilderkennung merkt sich z.B. nicht die Pixelkombination aller m\u00f6glichen Bilder, die ein Vorfahrtsschild zeigen, sondern extrahiert die Gemeinsamkeiten, die diesen Bildern zugrunde liegen. Das erlernte Konzept bzw. der Zusammenhang kann dann auf neue Datenpunkte angewandt werden.<\/p>\n Ob das Modell bei der Anwendung im Endeffekt gute Ergebnisse liefert, h\u00e4ngt also einerseits davon ab, ob das Modell ein geeignetes Konzept erlernt hat, und anderseits davon, ob das Konzept im Kontext der neuen Daten auch anwendbar ist.<\/p>\n Wenn ein Modell beispielsweise gelernt hat, ein Wildwechsel-Verkehrsschild von einem Fu\u00dfg\u00e4nger-Verkehrsschild anhand der umgebenden Landschaft im Bildhintergrund (z.B. l\u00e4ndlich versus urban) und nicht anhand der dort abgebildeten Piktogramme zu unterscheiden, dann hat das Modell recht offensichtlich ein eher ungeeignetes Konzept erlernt. Solche Probleme lassen sich jedoch zumindest in Teilen mittels Tests und eXplainable AI<\/a> (XAI)-Techniken aufdecken und mittels passender Trainingsdaten adressieren.<\/p>\n Weitergehend l\u00e4sst sich gew\u00f6hnlich eine statistisch begr\u00fcndete Aussage<\/a> \u00fcber die Zuverl\u00e4ssigkeit des Modells ableiten, wenn dieses auf einem f\u00fcr die geplante Anwendung repr\u00e4sentativen Testdatensatz gepr\u00fcft wurde. Diese Zuverl\u00e4ssigkeit gilt dann f\u00fcr zuf\u00e4llige \u2013 dem Modell unbekannte \u2013 Datenpunkte aus dem geplanten Anwendungskontext. Bestimmt wird beim Testen folglich die Generalisierungsf\u00e4higkeit des Modells im geplanten Anwendungskontext<\/em>.<\/p>\n Was aber, wenn ein Modell auf Datenpunkte angewendet wird, die nicht dem geplanten und damit hoffentlich auch in der Pr\u00fcfung ber\u00fccksichtigten Anwendungskontext entstammen? Welche Zuverl\u00e4ssigkeit k\u00f6nnen wir berechtigterweise erwarten, wenn eine auf einem deutschen Testdatensatz gepr\u00fcfte Verkehrszeichenerkennung bei einer Fahrt in England oder den Vereinigten Staaten zum Einsatz kommt? Die Antwort lautet: KEINE!<\/p>\n <\/p>\n <\/p>\n Man k\u00f6nnte evtl. damit argumentieren, dass sich gewisse Schilder in ihrem Aussehen \u00fcber L\u00e4ndergrenzen hinweg \u00e4hneln und dass eine Geschwindigkeitsbegrenzung in den USA zwar nicht korrekt vom Modell als solche identifiziert werden kann, das Modell diese aber zumindest als ein unbekanntes Schild klassifizieren k\u00f6nnte. Das ist im \u00dcbrigen gar nicht so trivial und wird bei aktuellen Modellen eher selten umgesetzt.<\/p>\n Sp\u00e4testens jedoch bei der englischen Geschwindigkeitsbegrenzung ist das Modell offensichtlich chancenlos. Da es auf Basis deutscher Daten trainiert wurde, kann das Modell im Voraus nicht gelernt haben, dass die gleiche Ziffernfolge auf einem vergleichbaren Schild in diesem Fall nicht Kilometer, sondern Meilen pro Stunde angibt. Wir haben es also semantisch mit einem anderen Schild zu tun. Eine Generalisierungsf\u00e4higkeit eines Modells \u00fcber den geplanten Anwendungskontext hinaus <\/em>l\u00e4sst sich damit also nicht sicherstellen, geschweige denn nachweisen. Tats\u00e4chlich ist es sogar so, dass insbesondere aktuelle Methoden des maschinellen Lernens mit ihrer hohen Flexibilit\u00e4t und ihren gigantischen Hypothesenr\u00e4umen zu Modellen f\u00fchren, die \u00e4u\u00dferst fragil auf Ver\u00e4nderungen im Anwendungskontext reagieren.<\/p>\n Die Tatsache, dass nicht immer organisatorisch sichergestellt werden kann, dass Machine-Learning-basierte Modelle wirklich nur in dem Anwendungskontext verwendet werden, f\u00fcr den sie tats\u00e4chlich entwickelt und getestet wurden, stellt uns somit vor eine Herausforderung. Zudem k\u00f6nnen im Anwendungskontext auch schleichend Ver\u00e4nderungen entstehen. Nahezu alle beobachtbaren Prozesse unterliegen im Laufe der Zeit gewissen Ver\u00e4nderungen. So \u00e4ndert sich auch in Deutschland nicht nur die H\u00e4ufigkeit der anzutreffenden Verkehrsschildtypen, sondern es kommen auch regelm\u00e4\u00dfig neue Typen hinzu. Existierende werden zudem h\u00e4ufig angepasst oder ausgemustert [BMVI<\/a>].<\/p>\n Um also valide Zuverl\u00e4ssigkeitszusagen machen zu k\u00f6nnen, gilt es f\u00fcr uns daher festzustellen, wann ein Modell kurzfristig mit einer Situation konfrontiert ist, f\u00fcr die es nicht entwickelt wurde (z. B. bei Konfrontation mit einem neuen oder verunstalteten Verkehrsschild) oder wo sich der Anwendungskontext nachhaltig zu stark ge\u00e4ndert hat. Dazu muss die sogenannte \u00bbScope Compliance<\/a>\u00ab w\u00e4hrend der Modellanwendung beispielsweise mit einem \u00bbUncertainty Wrapper<\/a>\u00ab \u00fcberwacht werden.<\/p>\n Scope Compliance<\/em> bedeutet die Wahrscheinlichkeit, dass sich ein datengetriebenes Modell in der aktuellen Anwendungssituation innerhalb seines intendierten Anwendungskontexts bewegt. [1]<\/p>\n <\/p>\n Uncertainty Wrappers<\/em> sind ein modell-agnostisches Konzept, um datengetriebene Modelle um eine Unsicherheitsprognose zu erweitern, die unterschiedliche Quellen von Unsicherheiten, wie sie im Zwiebelschalenmodell ausgearbeitet wurden, ber\u00fccksichtigt [2]. Hierzu z\u00e4hlt insbesondere auch Unsicherheit aufgrund fehlender Scope Compliance [1].<\/p>\n<\/div>\n Um zu verstehen, wie eine solche \u00dcberwachung \u00fcberhaupt realisiert werden kann und was hierbei \u00fcberwacht werden sollte, muss zun\u00e4chst einmal verstanden werden, was einen Anwendungskontext aus Sicht eines datengetriebenen Modells \u00fcberhaupt ausmacht und welche Arten von Ver\u00e4nderungen dabei zu unterscheiden sind. Dabei kann man zudem die wichtigsten Begrifflichkeiten in diesem Zusammenhang kennen lernen.<\/p>\n Leider geht es hier nicht ganz ohne ein wenig Mathematik \u2013 aber wirklich nur ein wenig. Nehmen wir an, die Eingabe eines Modells sei durch x gegeben und die erwartete Ausgabe durch y. Hierbei k\u00f6nnte x das Bild eines Verkehrsschilds sein und y der durch das Modell identifizierte Verkehrsschildtyp, also z.B. \u00bbZul\u00e4ssige H\u00f6chst\u00adgeschwindigkeit 30 km\/h\u00ab.<\/p>\n Nun charakterisiert sich der Anwendungskontext f\u00fcr das Modell durch die gemeinsame Wahrscheinlichkeitsverteilung \u00fcber alle m\u00f6glichen Eingaben und die entsprechend erwarteten Ausgaben in diesem Kontext, kurz P(X,Y). Die Verteilung P bestimmt dabei sowohl, wie h\u00e4ufig eine bestimmte Eingabe x im Anwendungskontext zu erwarten ist, als auch, welches die entsprechend korrekte\/intendierte Ausgabe w\u00e4re.<\/p>\n Mathematisch gesehen sind \u00c4nderungen des Anwendungskontexts aus Modellsicht folglich \u00c4nderungen in genau der genannten Verteilung P(X,Y). Bei solchen Ver\u00e4nderungen redet man dann ganz allgemein vom \u00bbDomain Shift\u00ab. Dabei lassen sich drei grunds\u00e4tzlich unterschiedliche Arten eines \u00bbDomain Shifts\u00ab voneinander unterscheiden, die wir im Folgenden am Beispiel der Verkehrsschilderkennung aufzeigen.<\/p>\n <\/p>\n Covariate Shift Prior Shift<\/strong> Concept Drift<\/strong> Die in diesem Artikel genannten Beispiele illustrieren, dass die G\u00fcte der Ergebnisse eines auf Machine Learning basierenden Modells nicht nur vom Modell selbst, sondern auch vom Anwendungskontext abh\u00e4ngt. \u00c4nderungen im Anwendungskontext k\u00f6nnen unterschiedlichste Gr\u00fcnde haben und zu Covariate Shifts, Prior Shifts und Concept Drifts f\u00fchren. In jedem Fall m\u00fcssen solche \u00c4nderungen in der Anwendung rechtzeitig erkannt und geeignet behandelt werden, um eine zuverl\u00e4ssige Verwendung des Modells sicherzustellen. Wie dies in der Praxis umsetzbar ist, erfahren Sie in einem unserer n\u00e4chsten Blog-Beitr\u00e4ge oder gerne auch in einem pers\u00f6nlichen Gespr\u00e4ch.<\/p>\n Lesen Sie auch unsere weiteren Artikel zum Thema Scope Compliance:<\/p>\n Sie haben noch weitere Fragen zu Machine Learning, insbesondere bez\u00fcglich der Themen Anwendungskontext und Scope Compliance, oder m\u00f6chten sich gerne mit unseren Expert*innen austauschen? \u2013 Dann kontaktieren Sie uns gerne per Mail<\/a>.<\/p>\n <\/p>\n _______________________________________________________________<\/p>\n <\/p>\n Nutzen Sie au\u00dferdem auch gerne unser Weiterbildungsangebot!<\/p>\n <\/p>\n In unserer 4-t\u00e4gigen Weiterbildung zum zertifizierten \u00bbData Scientist Specialized in Assuring Safety\u00ab<\/a> lernen Sie u. a. wie die Absicherung von KI in sicherheitskritischen Systemen <\/strong>gelingen kann.<\/p>\n<\/div>\n [1] Kl\u00e4s, M., Vollmer, A. M., „Uncertainty in Machine Learning Applications: A Practice-Driven Classification of Uncertainty<\/a>,“ First International Workshop on Artificial Intelligence Safety Engineering (WAISE 2018), V\u00e4ster\u00e5s, Sweden, 2018. Im Rahmen unserer Blogreihe \u00bbScope Compliance\u00ab besch\u00e4ftigen wir uns mit der Bedeutung des Anwendungskontexts im Machine Learning. Im ersten Beitrag kl\u00e4ren wir ein h\u00e4ufig anzutreffendes Missverst\u00e4ndnis auf und arbeiten seine Implikationen f\u00fcr die Praxis heraus. Sie erfahren, warum es entscheidend…<\/p>\n","protected":false},"author":26,"featured_media":8304,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[177],"tags":[26,104,170,415,48,296],"coauthors":[46,432,446,214],"class_list":["post-8301","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-kuenstliche-intelligenz","tag-big-data","tag-data-analytics","tag-data-science","tag-dependable-ai-verlaessliche-ki","tag-digitalisierung","tag-machine-learning"],"yoast_head":"\nErlernen geeigneter Konzepte<\/strong><\/h3>\n
Anwendbarkeit erlernter Konzepte<\/strong><\/h3>\n
![\"Scope](\"https:\/\/www.iese.fraunhofer.de\/blog\/wp-content\/uploads\/2021\/09\/blog_scope_compliance_figure_1.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\tWas bedeutet das f\u00fcr das Machine Learning in der Praxis?<\/strong><\/h3>\n
Was charakterisiert den Anwendungskontext aus Sicht eines Modells?<\/strong><\/h3>\n
![\"Scope](\"https:\/\/www.iese.fraunhofer.de\/blog\/wp-content\/uploads\/2021\/09\/ScopeCompliance_DomainShift.jpg\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t
\n<\/strong>Bei der Erkennung von Verkehrsschildern wird von dem Bild x auf den Verkehrsschildtyp geschlossen. Die entsprechende Zufallsvariable X, mit der Verteilung P(X) wird daher als unabh\u00e4ngige Variable, engl. covariate<\/em>, bezeichnet. Ein \u00bbCovariate Shift\u00ab liegt vor, wenn sich diese Verteilung P(X) \u00e4ndert. Dies w\u00e4re beispielweise der Fall, wenn es im Anwendungskontext bisher nicht geschneit hat, nun aber Verkehrsschilder aufgrund eines Schneesturms teilweise schneebedeckt sind oder im Rahmen einer Modernisierung das Erscheinungsbild eines Verkehrsschildtyps angepasst wird.<\/p>\n
\nDie A-priori-Verteilung oder englisch prior distribution<\/em> P(Y) gibt die grunds\u00e4tzlichen Wahrscheinlichkeiten f\u00fcr das Auftreten eines bestimmten Ergebnisses, in unserem Fall also eines bestimmten Verkehrsschildtypen, im Anwendungskontext an. Die aktuelle Fahrsituation und die Modelleingabe x wie z.B. das Kamerabild werden hierbei au\u00dfer Acht gelassen. Ein \u00bbPrior Shift\u00ab \u00e4u\u00dfert sich in einer Ver\u00e4nderung der relativen H\u00e4ufigkeiten, mit denen die verschiedenen Verkehrsschildtypen im Anwendungskontext vorkommen. Beispielsweise k\u00f6nnte sich durch eine st\u00e4rkere Urbanisierung oder ge\u00e4nderte Verkehrspolitik die H\u00e4ufigkeit einzelner Schildertypen (z.B. \u00bbKreisverkehr\u00ab) in Relation zu anderen Typen \u00e4ndern.<\/p>\n
\nDie bedingte Wahrscheinlichkeitsverteilung P(Y|X) beschreibt die Wahrscheinlichkeiten, dass gegebenen Eingaben bestimmte Ausgaben zugeordnet werden \u2013 in unserem Beispiel also, dass ein konkretes Bild x einen bestimmten Typ y von Verkehrsschild darstellt. Sie beschreibt also das Konzept,<\/em> nach dem die Pixelwerte des Bildes mit dem Verkehrsschildtyp verbunden sind. Ein \u00bbConcept Drift\u00ab entsteht, wenn sich die Art, wie Bilder den Verkehrsschildtypen zugeordnet sind, \u00e4ndert. Ein Beispiel daf\u00fcr ist die unterschiedliche Bedeutung der Geschwindigkeitsbegrenzungsschilder zwischen Gro\u00dfbritannien und Deutschland. Nahezu identisch aussehende Schilder haben abh\u00e4ngig vom Anwendungskontext eine andere Bedeutung. Die gleichen Bilder m\u00fcssen also abh\u00e4ngig vom Anwendungskontext verschiedenen Klassen zugeordnet werden und folglich muss auch die bedingte Wahrscheinlichkeitsverteilung P(Y|X) angepasst werden.<\/p>\nFazit und Ausblick<\/strong><\/h3>\n
\n
Literatur<\/strong><\/h3>\n
\n[2] Kl\u00e4s, M., Sembach, L., „Uncertainty Wrappers for Data-driven Models – Increase the Transparency of AI\/ML-based Models through Enrichment with Dependable Situation-aware Uncertainty Estimates<\/a>,“ Second International Workshop on Artificial Intelligence Safety Engineering (WAISE 2019), Turku, Finland, 2019.<\/p>\n","protected":false},"excerpt":{"rendered":"