KI in der Softwarearchitektur: Wie LLMs die Qualitätssicherung automatisieren

Generative KI ist in der Codierung bereits Standard. Doch welchen Nutzen bieten Large Language Models (LLMs) tatsächlich? Das haben wir uns genauer für Architekturarbeiten angesehen. Der Einsatz von LLMs bei Architekturaufgaben ist vielversprechend, unsere Ergebnisse zeigten jedoch auch noch offene Fragen. Neben der Bewertung von Architekturdokumenten und der Architektur selbst soll perspektivisch generative KI auch stärker bei konstruktiven Aufgaben eingesetzt werden, ähnlich wie es bereits bei Implementierungs- oder Testaufgaben heute verstärkt der Fall ist.

Warum KI in der Softwarearchitektur zum kritischen Erfolgsfaktor wird

Die Softwareentwicklung steht an einem Wendepunkt. Während KI-Tools beim Coding bereits von ca. 60 % der Entwickler genutzt werden, bleibt die Softwarearchitektur oft eine manuelle Aufgabe. Doch hier gilt das Prinzip: Garbage in, Garbage out. Die Qualität der Architektur-Eingaben bestimmt maßgeblich, wie effizient die KI den späteren Code generieren kann. Fehler oder Unklarheiten in der frühen Phase führen zu kostspieligen Korrekturzyklen. Deshalb untersuchen wir am Fraunhofer IESE, wie KI in der Softwarearchitektur sowohl konstruktiv als auch analytisch unterstützen kann.

Ausgehend von der Beobachtung, dass die Implementierung zunehmend autonom oder zumindest mit Unterstützung generativer KI erfolgt, ist es umso wichtiger, dass die Qualität der Eingaben maximiert wird. Typischerweise sind verschiedene Architekturdiagramme, Architekturtreiber und textuelle Beschreibungen ein wichtiger Input für Codierungsaktivitäten. Die Analyse der Qualität von Architekturdokumenten ist nichts Neues und es gibt viele Ansätze, von erfahrungsbasierten über toolgestützte bis hin zu strukturierten Analysen. Aber wie genau kann der Softwarearchitekt mittels generativer KI unterstützt werden? Und wie gut funktioniert eine solche Unterstützung?

Bevor wir uns um eine stärkere Automatisierung bei der Erstellung von Architekturartefakten kümmern, wollten wir zunächst untersuchen, ob generative KI verschiedene Architekturdokumente und -modelle bewerten kann.

Quasar: Unser LLM-basiertes Tool zur Qualitätsbewertung

Um das Potenzial von KI in der Softwarearchitektur messbar zu machen, haben wir einen MVP namens »Quasar« entwickelt. Das Tool nutzt verschiedene Software-Engineering-Artefakte als Input und generiert automatisierte Qualitätsbewertungen.

Das Qualitätsmodell hinter der Analyse

Traditionell bewerten Experten die Dokumentationsqualität manuell. Unser Ansatz systematisiert diesen Prozess:

• Systematische Metriken: Quasar nutzt vordefinierte Qualitätsmodelle für Aspekte wie Betrieb, Benutzerfreundlichkeit und Dokumentation.
• Strukturunabhängigkeit: Das Tool setzt keine feste Struktur voraus, erkennt aber essenzielle Inhalte wie Stakeholder-Benennungen, Systemkontexte oder Designentscheidungen.
• Plausible Begründung: Neben einem Score liefert die KI Begründungen für die Bewertung

 

Unsere Lösung setzt keine bestimmte Struktur für die Architekturdokumentation voraus. Allerdings werden bestimmte vordefinierte Inhaltstypen erwartet (im Falle der zugrunde liegenden Architekturdokumentation etwa eine Einführung, die Benennung der Stakeholder, die Abgrenzung des Systemkontexts, eine funktionale Aufschlüsselung und explizite Designentscheidungen).

Mensch vs. Maschine: Die Ergebnisse unserer Erprobung

In einem Forschungsprojekt für einen digitalen Marktplatz (Bereich Smart Cities) haben wir die KI-Bewertungen mit denen von Softwarearchitekten verglichen. Auf einer Skala von 0 bis 4 wurden 25 Kriterien geprüft (z.B. Vorhandensein eines Datenmodells).

Die Analyse zeigt drei typische Szenarien im Vergleich:

1. KI und Mensch sind sich einig: Bei klaren Fakten (z.B. »Ist eine Einführung vorhanden?«) arbeitet die KI sehr zuverlässig.
2. KI ist strenger: Wenn Dokumente lückenhaft sind, »halluziniert« die KI nicht, sondern bemängelt fehlende Informationen, die Menschen manchmal implizit ergänzen.
3. Mensch nutzt Kontext besser: Bei sehr komplexen, impliziten Zusammenhängen haben Experten aktuell noch einen Vorsprung.

Unsere Erkenntnis: LLMs sind bereits jetzt eine wertvolle Unterstützung, um einen schnellen ersten Eindruck der Dokumentationsqualität zu gewinnen – mit dem klaren Ziel, die Softwarearchitekten zu unterstützen, nicht diese zu ersetzen.

Effizienz-Boost: Das draw.io-Plugin für direktes Feedback

Wir glauben, dass KI in der Softwarearchitektur dort stattfinden muss, wo die Experten arbeiten. Deshalb haben wir ein Plugin für draw.io entwickelt.

Mit diesem Tool können Architekten ihre Diagramme direkt während der Erstellung auf folgende Punkte prüfen:

• Einhaltung von Architekturpattern
• Konsistenz über verschiedene Diagramme hinweg
• Einhaltung von Namenskonventionen.

Auch hier gibt es bereits Ideen für die Weiterentwicklung. Zunächst soll es möglich sein, dass zusätzliche Kontextinformationen bereitgestellt und vom LLM berücksichtigt werden. Das kann etwa die Information der zugrundeliegenden Modellierungssprache sein, die je nach Unternehmenskontext anders ist. Standards wie arc42 können aber genauso mitgegeben werden und zu einer besseren Auswertung führen.

Zudem wollen wir eine stärkere Interaktion ermöglichen, sprich eine gewisse »Chatfunktionalität« mit dem LLM umsetzen, um Stück für Stück die Prüfungen und damit mehr Kontrolle und Varianten anzubieten, bei denen frühere Inputs berücksichtigt werden. Nicht zuletzt können diese Aspekte dann auch dazu dienen, nicht nur Bewertungen der vom Softwarearchitekten erstellten Diagramme durchzuführen, sondern diesen zunehmend konstruktiv zu unterstützen und ggf. einfache Aufgaben gänzlich zu übernehmen.

Fazit: Die Zukunft der Softwarearchitektur ist KI-gestützt

Der Einsatz von KI in der Softwarearchitektur steigert die Effizienz und sichert die Qualität frühzeitig ab. Während die Implementierungsebene bereits KI-dominiert ist, zieht die Architekturphase nun nach. Am Fraunhofer IESE kümmern wir uns insbesondere darum, Lösungen zu entwickeln, die die Effizienz steigern, und das zu hoher Qualität. Um die Qualität einschätzen zu können, führen wir unterschiedliche Erprobungen durch und kommen so zu abgesicherten Aussagen. Das prüfen wir auch an möglichst konkreten Beispielen wie oben (Abbildung 2) exemplarisch an einem draw.io-Plugin gezeigt.