Die Einsatzm\u00f6glichkeiten von KI sind vielf\u00e4ltig und in einigen Bereichen bereits seit Jahren nicht mehr wegzudenken. KI, insbesondere in Form von maschinellem Lernen<\/a>, ist inzwischen in vielen Unternehmen in Arbeitsprozesse eingebunden. Dabei werden vor allem Aufgaben wie Entscheidungsfindung, Datenanalyse oder Vorhersage adressiert \u2013 beispielsweise in der Bilderkennung oder in Vorschlagssystemen. Mit GenAI er\u00f6ffnen sich neue, bisher unerschlossene Potenziale. Durch das schnelle Erzeugen von Inhalten wie z.B. Text, Audio oder Video k\u00f6nnen Aufgaben in bisher unbekanntem Ma\u00df effizient automatisiert und Prozesse somit optimiert werden [3]<\/a>. Innerhalb von Sprachmodellen sind semantische Verkn\u00fcpfungen zwischen Begriffen verankert, die sowohl analytisch als auch konstruktiv genutzt werden k\u00f6nnen.<\/p>\n Am Fraunhofer IESE besch\u00e4ftigen wir uns u.a. mit der Frage, wie KI, speziell GenAI, im Software-Engineering (SE) eingesetzt werden kann, um SE-Prozesse zu unterst\u00fctzen. Unter anderem betrachten wir die KI-unterst\u00fctzte Messung von Software- und Produktqualit\u00e4t. Damit kann zun\u00e4chst Transparenz \u00fcber den Qualit\u00e4tsstand erlangt werden, um ausgehend davon zu pr\u00fcfen, wie die Qualit\u00e4t verbessert werden kann. W\u00e4hrend Analysen von Code mittels Werkzeugen wie SonarQube bereits etablierter Standard sind, ist die Analyse von weiteren Artefakten h\u00e4ufig zeitintensiv, mindestens in Teilen manuell und ben\u00f6tigt oftmals Expertenwissen. Wie GenAI dabei grunds\u00e4tzlich unterst\u00fctzen kann, skizzieren wir nachfolgend und zeigen anhand eines konkreten Beispiels eines Online-Marktplatzes im Smart-City Bereich die Umsetzung.<\/p>\n Kaum ein Produkt entsteht heute ohne einen signifikanten Anteil von Software. Eine hohe Qualit\u00e4t von Software ist dann ein wesentlicher Faktor f\u00fcr hohe Produktqualit\u00e4t und damit f\u00fcr den Erfolg eines Produkts. Softwarequalit\u00e4t umfasst viele Aspekte, die weit \u00fcber Code hinausgehen. Ihr Grundstein wird bereits in den fr\u00fchen Phasen des SE gelegt. Die ISO 25010 [4] <\/a>definiert Softwareproduktqualit\u00e4t umfassend in verschiedenen Dimensionen (genannt Charakteristiken). Dazu geh\u00f6rt die \u00bbfachliche Eignung\u00ab, also wie korrekt und vollst\u00e4ndig ein Softwareprodukt die ben\u00f6tigten Funktionen abdeckt. Einfluss auf diese Charakteristik nimmt bereits die Aktivit\u00e4t des Requirements-Engineerings (RE), lange bevor Code geschrieben wird. Charakteristiken wie \u00bbPerformanz\u00ab, \u00bbKompatibilit\u00e4t\u00ab, \u00bbSicherheit\u00ab, \u00bbWartbarkeit\u00ab und \u00bbFlexibilit\u00e4t\u00ab ergeben sich aus einer hochwertigen Softwarearchitektur \u2013 welche aktiv gestaltet werden muss und nicht \u00bbzuf\u00e4llig\u00ab programmiert wird. Aus Sicht der Nutzerinnen und Nutzer ist die Charakteristik \u00bbNutzbarkeit\u00ab besonders relevant. Die Gestaltung einer guten Nutzererfahrung (engl. User Experience, UX) ist eng mit Aktivit\u00e4ten des RE verbunden, wobei der Fokus stark auf den Bed\u00fcrfnissen der Menschen liegt.<\/p>\n Sicherstellen von Qualit\u00e4t hei\u00dft, eine Vielzahl von Ma\u00dfnahmen entlang des Software-Entwicklungsprozesses zu treffen. Beispielsweise tr\u00e4gt ein strukturiertes RE, das etablierten Vorgehensmodellen folgt, dazu bei, dass keine Anforderungen vergessen oder Mehrdeutigkeiten vermieden werden. Bei der Gestaltung der UX geben visuelle Repr\u00e4sentationen wie Skizzen, Mockups oder Prototypen fr\u00fchzeitig einen Ausblick auf die potenzielle User Experience. Diese Repr\u00e4sentationen k\u00f6nnen mit zuk\u00fcnftigen Nutzerinnen und Nutzern iterativ evaluiert und verbessert werden \u2013 eine zeitintensive, aber notwendige Aktivit\u00e4t, um eine hohe Qualit\u00e4t der Nutzererfahrung sicherzustellen. Strukturierte Architekturarbeiten helfen dabei, die Grundlage f\u00fcr das Produkt zu schaffen und Qualit\u00e4ten fundamental durchzudenken sowie Entscheidungen f\u00fcr die tats\u00e4chliche Architektur zu treffen. Reviews und Testaktivit\u00e4ten zu unterschiedlichen Zeitpunkten bzw. Phasen erzeugen Feedbackschleifen und geben R\u00fcckmeldung \u00fcber die Qualit\u00e4t und entsprechende Verbesserungsm\u00f6glichkeiten.<\/p>\n Die Nutzung unterschiedlicher konstruktiver und analytischer Aktivit\u00e4ten im SE hilft dabei, dass die Produktqualit\u00e4t am Ende m\u00f6glichst hoch ist. So notwendig ein guter Mix aus solchen Aktivit\u00e4ten ist, so zeitintensiv sind diese aber oftmals auch. Es muss daher abgewogen werden, wie viel Aufwand hier investiert wird. H\u00e4ufig setzen sie dar\u00fcber hinaus entsprechendes Expertenwissen voraus. Werkzeuge wie statische Codeanalysen (z.B. SonarQube) k\u00f6nnen die Softwareproduktqualit\u00e4t auf Basis der Analyse von Code unterst\u00fctzen und anhand konkreter Metriken Hinweise geben, wo Optimierungspotenzial besteht. Die Grundlagen f\u00fcr hohe Produktqualit\u00e4t werden aber im gesamten SE-Zyklus auch au\u00dferhalb des reinen Programmcodes gelegt.<\/p>\n K\u00fcnstliche Intelligenz, egal ob \u00bbtraditionelle\u00ab oder \u00bbgenerative KI\u00ab, verspricht Automatisierungspotenzial und Effizienzgewinne f\u00fcr Aufgaben, die nur (m\u00fchsam) von Menschen erledigt werden konnten. Naheliegend ist also die Frage, ob und wie KI, insbesondere GenAI, im SE-Prozess eine hohe Produktqualit\u00e4t unterst\u00fctzen und in einem ersten Schritt ein Softwareprodukt bewerten kann.<\/p>\n W\u00e4hrend generative KI auf den ersten Blick beeindruckende F\u00e4higkeiten zur Verarbeitung und Analyse von Informationen bietet, gibt es nicht den einen \u00bbMaster-Prompt\u00ab, der alle Charakteristiken von Softwarequalit\u00e4t auf Knopfdruck bewertet. LLMs bilden semantische Verkn\u00fcpfungen in hochdimensionalen R\u00e4umen ab. Durch die Anweisung (Prompt) und weiteren Kontext \u00bbschickt\u00ab man das Sprachmodell in die gew\u00fcnschte Richtung. Charakteristiken von Softwareproduktqualit\u00e4ten sind jedoch viel zu komplex, um \u00bbeinfach so\u00ab von einem Sprachmodell verarbeitet werden zu k\u00f6nnen. Qualit\u00e4tsmodelle, die diese komplexen Charakteristiken abbilden, erm\u00f6glichen es, die semantischen F\u00e4higkeiten von LLMs zu nutzen und die klassische syntaktische Analyse mit semantischem Verst\u00e4ndnis anzureichern. Viele der Bewertungskriterien sind sehr komplex, stehen in Abh\u00e4ngigkeiten voneinander oder m\u00fcssen in einem zeitlichen Kontext betrachtet werden. LLMs k\u00f6nnen also nicht in einem einzelnen Prompt angewendet werden. Reines Prompt Engineering<\/a> f\u00fchrt hier nicht zum Ziel.<\/p>\n Die Komplexit\u00e4t der Softwarequalit\u00e4t erfordert eine differenzierte Herangehensweise, bei der verschiedene Metriken und Datenpunkte ber\u00fccksichtigt werden m\u00fcssen. So gilt es, saubere Qualit\u00e4tsmodelle zu definieren, um die Qualit\u00e4t von Softwareprodukten systematisch zu bewerten. Die ISO 25010 mit ihren verschiedenen Charakteristiken dient uns dabei als Rahmen. F\u00fcr Teilaspekte (z.B. \u00bbKompatibilit\u00e4t \u2013 Interoperabilit\u00e4t\u00ab) m\u00fcssen einzelne Metriken identifiziert werden, die einerseits repr\u00e4sentativ f\u00fcr die zugeh\u00f6rige Qualit\u00e4tscharakteristik und andererseits, ganz praktisch, \u00bbmessbar\u00ab sind. Auf Ebene einzelner Metriken werden dann die analytischen F\u00e4higkeiten generativer KI verwendet, um gro\u00dfe Mengen an Daten zu analysieren und Muster zu erkennen, die f\u00fcr die Qualit\u00e4t relevant sind. F\u00fcr die endg\u00fcltige Bewertung werden dann viele dieser Einzelmetriken aggregiert. Daf\u00fcr nutzen wir auch Expertenwissen, denn die Bewertung von Softwareproduktqualit\u00e4t erfordert menschliches Urteilsverm\u00f6gen und Fachwissen.<\/p>\n Die KI-Qualit\u00e4tsbewertung wird unter anderem auf dem Marktplatz \u00bbDEUTSCHLAND.DIGITAL\u00ab<\/a> eingesetzt. Dieser Marktplatz ist eine zentrale Anlaufstelle f\u00fcr Kommunen, die im Rahmen von Smart City<\/a> nach L\u00f6sungen und Beratungsangeboten zur Daseinsvorsorge suchen. Die Plattform verbindet Nachfrager und L\u00f6sungsanbieter miteinander und vermittelt technische L\u00f6sungen. F\u00fcr Kommunen ist es wichtig, sich f\u00fcr eine L\u00f6sung mit der f\u00fcr sie passenden Qualit\u00e4t zu entscheiden, welche bei wachsender Anzahl an L\u00f6sungen auf dem Marktplatz zunehmend zeitintensiver wird. Daf\u00fcr ist eine tiefgehende und umfassende Qualit\u00e4tsbewertung und -einordnung n\u00f6tig, die auf die Bed\u00fcrfnisse der Kommunen eingeht. Eine solche ausf\u00fchrliche Bewertung ist von menschlichen Expertinnen und Experten f\u00fcr hunderte L\u00f6sungen nicht effizient zu leisten.<\/p>\n Viele der auf dem Marktplatz angebotenen L\u00f6sungen sind Open-Source-Software<\/a>, das hei\u00dft, der Quellcode ist offen zug\u00e4nglich. Im Kontext des Marktplatzes ist die Anwendbarkeit der L\u00f6sungen durch Kommunen wichtig, sodass hier in der Regel weitere Artefakte wie Grafiken, Screenshots, Beschreibungen oder auch Tickets vorhanden sind. Damit sind diese Open-Source-L\u00f6sungen ein guter Ausgangspunkt f\u00fcr die KI-Qualit\u00e4tsbewertung. \u00c4hnlich einem menschlichen Experten werden verschiedene Aspekte (Metriken im Qualit\u00e4tsmodell) \u00fcberpr\u00fcft, bewertet, zu Punktwerten aggregiert und eine Qualit\u00e4tsbewertung vergeben. Diese Bewertungen helfen dann den Entscheiderinnen und Entscheidern in Kommunen, die f\u00fcr sie und ihre Situation passenden Smart-City-L\u00f6sungen auszuw\u00e4hlen.<\/p>\n Metriken m\u00fcssen nat\u00fcrlich messbar sein \u2013 aber wie sieht das im konkreten Beispiel aus? Anhand von Repositorys lassen sich verschiedene Artefakte als Eingabe f\u00fcr eine Qualit\u00e4tsbewertung gewinnen. Dort findet sich Source Code, der ebenso Kommentare mit Dokumentation enth\u00e4lt, begleitende Dokumentation in Text- und Bildform (meistens in sogenannten \u00bbMarkdown-Dateien\u00ab), Kommentare und Erg\u00e4nzungen von Entwicklerinnen und Entwicklern (in Form von \u00bbIssues\u00ab oder \u00bbPull Requests\u00ab) und teilweise auch Bilder der L\u00f6sungen (Screenshots). Auch wenn diese Repositorys zu einem Gro\u00dfteil nat\u00fcrlich Source Code enthalten, geht die KI-Qualit\u00e4tsbewertung \u00fcber klassische Codeanalyse hinaus. Im Fall der Usability wurden zudem verschiedene ISO-Normen zur Usability, wie z.B. ISO 25019, betrachtet und als Grundlage f\u00fcr die automatisierte Bewertung von L\u00f6sungen auf dem Marktplatz herangezogen. Die Ableitung von Metriken f\u00fcr die Bewertung durch KI ist dabei ein andauernder Prozess und wird stetig neu evaluiert und erweitert.<\/p>\n Im Hinblick auf die Usability-Bewertung finden sich innerhalb der Open Source Repositorys vor allem Screenshots. Gerade Nutzertests finden vor allem aufgabenbasiert statt. Das bedeutet, dass sie das wirkliche Arbeiten mit der L\u00f6sung umfassen, z. B. das Ausf\u00fcllen von Textfeldern. Dennoch gibt es Kriterien, die bereits anhand von Beschreibungen oder Screenshots gut analysiert und mithilfe der System Usability Scale [5]<\/a> (SUS) bewertet werden k\u00f6nnen und deren KI-Ergebnisse mit denen echter menschlicher Experten verglichen wurden. Das Ergebnis zeigt: Das Ergebnis der Bewertung durch die KI ist dem durch menschliche Experten gar nicht so un\u00e4hnlich, auch wenn die KI-Bewertung immer etwas wohlwollender, als die der echten Experten war. Somit k\u00f6nnen auch Screenshots bereits ein f\u00fcr die KI-Qualit\u00e4tsbewertung nutzbares Artefakt sein, was der Qualit\u00e4tsbewertung im Rahmen des Marktplatzes \u00bbDEUTSCHLAND.DIGITAL\u00ab zugutekommt. Anbieter von L\u00f6sungen m\u00fcssen nicht extra weitere Informationen f\u00fcr die Qualit\u00e4tsbewertung einreichen, die \u00fcber das hinausgehen, was sich sowieso in gut gepflegten Repositorys findet, und Nutzerinnen und Nutzer des Marktplatzes erhalten eine Aussage zur Produktqualit\u00e4t.<\/p>\n Um die Qualit\u00e4t von Softwareprodukten umfassend zu bewerten, ist es entscheidend, \u00fcber die Analyse von Repositorys und Screenshots hinauszugehen. Neben dem Quellcode und der begleitenden Dokumentation dienen auch andere Artefakte aus dem Software-Engineering-Prozess als Grundlage f\u00fcr die Analyse, etwa Beschreibungen, Spezifikationen, Architekturmodelle, Mockups und User Journeys. Die Integration dieser Daten erm\u00f6glicht es, weitere Metriken in die Qualit\u00e4tsmodelle aufzunehmen, R\u00fcckmeldungen \u00fcber die Produktqualit\u00e4t direkt w\u00e4hrend der Softwareentwicklung zu erhalten, und teure Evaluationsschritte zu erg\u00e4nzen oder zu ersetzen.<\/p>\n Was sind Ihre Erfahrungen? Wo setzen Sie schon KI im Software Engineering ein? Haben Sie Fragen zur Softwarebewertung mit KI? Wir freuen uns, von Ihnen zu h\u00f6ren! Nehmen Sie gerne Kontakt zu uns<\/a> auf.<\/strong><\/p>\n Quellen: Im Zeitalter der digitalen Transformation wird die Qualit\u00e4t von Software zu einem entscheidenden Faktor f\u00fcr den Produkterfolg. K\u00fcnstliche Intelligenz, insbesondere generative KI, bietet vielversprechende Ans\u00e4tze, um Software-Engineering-Prozesse effizienter zu gestalten und die Produktqualit\u00e4t zu steigern. In diesem Blogbeitrag beleuchten wir,…<\/p>\n","protected":false},"author":83,"featured_media":13553,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[211,177,424],"tags":[],"coauthors":[361,38,512],"class_list":["post-13542","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-digitale-transformation","category-kuenstliche-intelligenz","category-smart-city"],"yoast_head":"\nProduktqualit\u00e4t ist Softwarequalit\u00e4t<\/h2>\n
Grundlage f\u00fcr Softwarebewertung bilden Qualit\u00e4tsmodelle<\/h2>\n
Einsatz von KI-Qualit\u00e4tsbewertung auf dem Marktplatz \u00bbDEUTSCHLAND.DIGITAL\u00ab<\/h2>\n
![\"Screenshot](\"https:\/\/www.iese.fraunhofer.de\/blog\/wp-content\/uploads\/2025\/02\/marktplatz-d-digital.png\")
![\"\"](\"https:\/\/www.iese.fraunhofer.de\/blog\/wp-content\/uploads\/2025\/02\/Marktplatz-Deutschland-Digital-3.png\")
Unser Fazit zur Bewertung von Softwarequalit\u00e4t mit GenAI<\/h2>\n
\nGoogle Trends: K\u00fcnstliche Intelligenz<\/a>
\nCornell University, Arxiv: GPT-4 Technical Report<\/a>
\nEconStor: K\u00fcnstliche Intelligenz \u2013 wie Unternehmen sie nutzen und was sie noch daran hindert <\/a>
\nISO25000.com: ISO\/IEC 25010 <\/a>
\ngermanupa.de: SUS – A quick and dirty usability scale (PDF)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"