Automatisierte Qualitätsmessung von Software

Quasar ist ein Ansatz des Fraunhofer IESE zur automatisierten Messung von Softwarequalität. Anders als klassische Werkzeuge zur statischen Codeanalyse erfasst Quasar Qualitätsaspekte entlang des gesamten Software-Lifecycles: von frühen Anforderungen und Designentscheidungen über Architekturdokumente bis zum fertigen Code. Diese Seite beschreibt die methodische Grundlage dahinter.

Qualitätsbewertung mit generativer KI ist kein neues Konzept. Die entscheidende Frage ist, wie zuverlässig und nachvollziehbar die Ergebnisse sind. Quasar setzt dabei auf eine Methodik, die aus der Softwarequalitätsforschung stammt, und verbindet sie mit einem kontrollierten Einsatz von Sprachmodellen.

Der Goal-Question-Metric-Ansatz (GQM) ist eine etablierte Methode zur systematischen Definition von Qualitätszielen in der Softwareentwicklung. Das Grundprinzip ist einfach: Zuerst wird ein konkretes Qualitätsziel (Goal) definiert, etwa »Die Architektur eines Systems soll wartbar und erweiterbar sein«. Daraus werden Fragen abgeleitet (Questions), die klären, woran dieses Ziel erkennbar ist: Sind Abhängigkeiten zwischen Komponenten minimiert? Sind Verantwortlichkeiten klar getrennt? Für jede dieser Fragen werden schließlich messbare Indikatoren definiert (Metrics), die eine konkrete Bewertung ermöglichen.

Aus anerkannten und weit verbreiteten Modellen von Softwarequalität (z. B. UX- und Architekturstandards, Heuristiken, ISO 25010, usw.) haben wir konkrete Qualitätsziele abgeleitet und mit dem GQM-Ansatz in konkrete, automatisiert messbare Metriken überführt.

Dieser Aufbau stellt sicher, dass Quasar nicht allgemein nach »Qualität« sucht, sondern immer gegen ein präzises formuliertes Ziel prüft. Die einzelnen Ergebnisse der Messpunkte sind damit begründbar und für Entwicklungsteams und Produktverantwortliche nachvollziehbar.

Quasar ist modular aufgebaut. Jedes Modul ist auf einen bestimmten Qualitätsaspekt spezialisiert und implementiert den GQM-Ansatz für seinen Bereich. Generative KI wird dabei gezielt für einzelne, klar abgegrenzte Messpunkte eingesetzt, nicht als allgemeiner Bewerter mit einem einzigen umfangreichen Prompt.

Aktuell existieren zwei Module:

Das UX-Modul bewertet die Nutzungsfreundlichkeit von Oberflächen und Interaktionskonzepten anhand etablierter Usability-Heuristiken. Es kann direkt in Designwerkzeugen wie Figma eingesetzt werden und liefert Feedback bereits nach einzelnen Designentscheidungen, ohne auf aufwendige manuelle Nutzertests warten zu müssen.

Das Architekturmodul analysiert Softwarearchitekturen hinsichtlich Wartbarkeit, Erweiterbarkeit und struktureller Qualität. Es wertet Architekturdokumente und zugehörige Dokumentation aus und macht Schwächen sichtbar, die in späteren Entwicklungsphasen schwer zu korrigieren wären. Das Architekturmodul kann direkt in Tools wie draw.io integriert werden.

Beide Module greifen auf dieselbe Infrastruktur zu: Datenquellen wie Repositories, Dokumentablagen und Designwerkzeuge werden einmalig angebunden und stellen den Modulen die benötigten Informationen strukturiert bereit.

Quasar versteht Qualität nicht nur als Ergebnis einer Bewertung, sondern auch als Ansatzpunkt für konstruktive Verbesserung. Durch die kontinuierliche Analyse unterschiedlicher Artefakte werden Qualitätsmängel frühzeitig erkannt – genau dann, wenn sie mit vergleichsweise geringem Aufwand behoben werden können. Dies gilt insbesondere für konzeptionelle oder architektonische Schwächen, die sich in späteren Phasen nur noch schwer korrigieren lassen.

Die automatisierte, KI-gestützte Auswertung schafft Transparenz über Stärken und Schwächen eines Produkts in verschiedenen Entwicklungsstufen. Damit wird Quasar zu einer unterstützenden Instanz für Entwickler, Architekten und Produktverantwortliche, die fundierte Entscheidungen treffen müssen. Die Bewertung liefert nicht nur ein Ergebnis, sondern eine nachvollziehbare Grundlage für gezielte Verbesserungen entlang des gesamten Entwicklungsprozesses.

So trägt Quasar dazu bei, Qualität nicht erst am Ende zu prüfen, sondern sie Schritt für Schritt aufzubauen und abzusichern. Durch eine Interaktion mit Quasar kann ein User Interface Stück für Stück aufgebaut werden, oder unterschiedliche Architekturvarianten »diskutiert« werden. Wir sprechen hier vom KI-Pair-Engineering – die KI wird zu einem persönlichen Assistenten und arbeitet ähnlich wie beim Pair Programming. 

Ein häufig unterschätzter Aspekt von KI-gestützter Qualitätsmessung ist die Frage, welche Informationen einem Sprachmodell für eine konkrete Bewertungsaufgabe bereitgestellt werden. Zu wenig Kontext führt zu oberflächlichen Ergebnissen; zu viel oder widersprüchlicher Kontext verschlechtert die Qualität der Ausgaben.

Quasar adressiert dieses Problem über eine systematische Kontextverwaltung, die für jede Messaufgabe genau den relevanten Ausschnitt aus verfügbaren Informationen zusammenstellt.

Die umfassende Messung vieler Qualitätsaspekte ist in der Praxis aufwendig und erfordert hohe Fachkompetenz in der systematischen Umsetzung. Oftmals ist auch nicht klar, was nun gut funktioniert und warum – oder warum nicht. Hier punkten wir mit erprobten wissenschaftlichen Methoden und systematischer Betrachtung, wie solche Fragestellungen empirisch fundiert beantwortet werden können. Um Effizienzgewinne zu heben ist es unerlässlich, dass die Qualität der KI-generierten Antworten und Resultate korrekt ist. Dazu nutzen wir auch selbstentwickelte Plugins für Figma und draw.io um direkt in verbreiteten, praxisrelevanten Tools Mehrwerte erproben zu können.

Alle Module sind so konzipiert, dass sie ausschließlich mit unternehmensinternen Daten arbeiten. Die zugrunde liegenden Sprachmodelle lassen sich lokal oder in vertrauenswürdig gehosteten Rechenzentren betreiben. Diese Anforderung ist kein nachträglicher Kompromiss, sondern war von Beginn an Teil der Architekturentscheidungen für Quasar.