Die rasante Entwicklung generativer K\u00fcnstlicher Intelligenz, insbesondere gro\u00dfer Sprach- und multimodaler Modelle, er\u00f6ffnet neue M\u00f6glichkeiten in verschiedensten Anwendungsbereichen \u2013 von der Softwareentwicklung \u00fcber das Wissensmanagement bis hin zur industriellen Produktion. KI-Anwendungen k\u00f6nnen dabei helfen, Prozesse zu optimieren und innovative L\u00f6sungen zu entwickeln. Doch der Weg von der Forschung in die Praxis ist komplex und bringt zahlreiche Herausforderungen mit sich, wie z.B. Infrastrukturfragen, Prompt Engineering und Qualit\u00e4tssicherung. In diesem Beitrag teilen wir Erfahrungen aus der Entwicklung von KI-Anwendungen und zeigen anhand konkreter Beispiele, wie generative KI heute schon produktiv eingesetzt werden kann und worauf bei der \u00dcberwindung von Hindernissen besonders zu achten ist.<\/p>\n
In den vergangenen Jahren hat der Bereich der generativen KI erhebliche Fortschritte gemacht, haupts\u00e4chlich mit dem Aufkommen von gro\u00dfen Sprachmodellen (LLMs) und multimodalen Modellen. Diese Tools haben bemerkenswerte F\u00e4higkeiten in verschiedenen Aufgaben der „Natural Language Processing“ und des „Computer Visions“ unter Beweis gestellt. Infolgedessen besteht ein wachsendes Interesse an der Entwicklung generativer KI-basierter Anwendungen, um komplexe reale Probleme anzugehen.<\/p>\n
Die erfolgreiche Integration generativer KI-Modelle (LLM, multimodale Modelle) in die Praxis erfordert eine sorgf\u00e4ltige Ber\u00fccksichtigung mehrerer Faktoren. Solche Modelle sind relativ neu, und ihre Entwicklung und Implementierung sowie das umgebende Software-\u00d6kosystem befinden sich noch in der Entwicklung. Sie erfordern eine spezielle Infrastruktur, wie z.B. GPUs (Graphics Processing Units). Sie verbrauchen viel Energie und k\u00f6nnen je nach Infrastruktur und Anzahl der verarbeiteten Abfragen manchmal langsam reagieren. Ihre Outputs sind in der Regel stochastisch. Sie k\u00f6nnen Halluzinationen oder falsche Informationen hervorrufen. Schlie\u00dflich sind ihre Schnittstellen in erster Linie textbasiert, mit Ein- und Ausgabe im Textformat. Dies kann beim Prompting, beim Verstehen der Abfrage des Benutzers und beim Einschr\u00e4nken des Ausgabeformats eine Herausforderung darstellen.<\/p>\n
Am Fraunhofer IESE haben wir an Projekten gearbeitet, die sich mit gro\u00dfen und multimodalen Sprachen in verschiedenen Branchen wie Produktion, Versicherungen, Softwareentwicklung, Smart City, Medizin u.v.m. befassen. All diese Initiativen haben ein gemeinsames Ziel: Die Anwendungsf\u00e4lle, an denen wir gearbeitet haben, lassen sich in vier Typen einteilen:<\/p>\n Anwendungsf\u00e4lle aus diesem Bereich ben\u00f6tigen Systeme, die Dokumente f\u00fcr die weitere Verarbeitung in vordefinierte Kategorien klassifizieren. Beispiele hierf\u00fcr sind auf Social-Media-Plattformen die \u00dcberpr\u00fcfung auf sch\u00e4dliche Inhalte und die Erleichterung des Informations- und Technologiemonitorings durch die Klassifizierung von Pressemitteilungen und deren Versand an die entsprechenden Stakeholder.<\/li>\n In diesen F\u00e4llen m\u00fcssen vorhandene Dokumente durchsucht werden, die in verschiedenen Formaten (PDF, HTML, Wiki, Word usw.) vorliegen. Oft geht es darum, Daten und Metadaten aus Dokumenten zu extrahieren, nach \u00e4hnlichen Inhalten zu suchen und relevante Dokumente oder Teile von Dokumenten zusammenzufassen.<\/li>\n Die dritte Art von Anwendungsf\u00e4llen umfasst die Interaktion mit einem bestehenden Informationspool (Dokumente, Datenbanken, Wissensgraphen usw.). Die Interaktion erfolgt in der Regel in Form eines textbasierten Chatbots, der die F\u00e4higkeit des Systems zur Verwaltung von Dialogabl\u00e4ufen erfordert und interne Zust\u00e4nde ben\u00f6tigt.<\/li>\n Die letzte Anwendungsfallart besteht darin, neuartige Inhalte auf der Grundlage eines vordefinierten Kontexts zu generieren. Ein Beispiel hierf\u00fcr ist die Erstellung von \u00dcbungen f\u00fcr eine E-Learning-Plattform.<\/li>\n<\/ol>\n In der Softwareentwicklung verbessert die Aufteilung komplexer Aktivit\u00e4ten in einfachere Aufgaben in der Regel die Qualit\u00e4t der Ausgabe und macht die Anwendung \u00fcberschaubarer. Auch beim Einsatz von generativen KI-Modellen gilt dieses Prinzip und seine Vorteile. F\u00fcr die Entwicklung generativer KI-basierter Anwendungen ist es wichtig, das richtige Abstraktionsniveau f\u00fcr die spezifischen Bausteine zu identifizieren. In der folgenden Liste haben wir Aufgaben gesammelt, die generative KI-Modelle wie LLM im Wissensmanagement gut erf\u00fcllen k\u00f6nnen.<\/p>\n Die Aufgabe des Modells besteht darin, Dokumente (Text, Bild) in vordefinierte Kategorien zu kategorisieren. Beispiele hierf\u00fcr sind die Klassifizierung von Presseartikeln, die Stimmungsanalyse und die Erkennung von Hassreden, die Erkennung der Intention des Nutzers (Erkennung, ob es sich bei einer Anfrage um eine Frage oder ein Feedback handelt), Relevanzpr\u00fcfungen (Sicherstellung, dass Inhalte zu einem Thema oder einer Suchanfrage passen) und Konsistenzpr\u00fcfungen (\u00dcberpr\u00fcfung, ob Informationen in einem Dokument konsistent und frei von Widerspr\u00fcchen sind).<\/li>\n Die Aufgabe des Modells besteht darin, bestimmte Informationen aus Dokumenten zu extrahieren. Beispiele hierf\u00fcr sind die Erkennung benannter Entit\u00e4ten (Named Entity Recognition, NER), die Verkn\u00fcpfung von Entit\u00e4ten, die Extraktion von Schl\u00fcsselw\u00f6rtern und die Erstellung von Wissensgraphen. Dies ist n\u00fctzlich, um Dokumente vorzuverarbeiten, bevor sie in einer Datenbank durchsuchbar gemacht werden.<\/li>\n Die Aufgabe des Modells besteht darin, das Eingabedokument zu verwenden und denselben Informationsinhalt in einer anderen Sprache oder einem anderen Format zu vermitteln. Beispiele hierf\u00fcr sind die \u00dcbersetzung in eine bestimmte Sprache (z.B. vom Deutschen ins Englische), Text in eine bestimmte formale Sprache (z.B. JSON, YAML, Markdown…), das Gegenteil (z.B. JSON in Text) oder die \u00dcbersetzung in eine formale Sprache in eine andere. Dies kann z.B. n\u00fctzlich sein, wenn die abgerufenen Dokumente auf Englisch sind, die Abfrage aber in einer anderen Sprache erfolgt. Oder f\u00fcr die \u00dcbersetzung nat\u00fcrlicher Sprache in eine formale Spezifikationssprache (z.B. JSON), die die Indizierung und Suche erleichtert.<\/li>\n Die Aufgabe des Modells besteht darin, ein Dokument als Eingabe zu verwenden und eine neu formulierte Version zu erstellen, die einem bestimmten Zweck dient. Es formuliert oder strukturiert das Dokument neu, um das gew\u00fcnschte Ziel zu erreichen. Beispiele hierf\u00fcr sind das „Query-Understanding“, das eine genaue Interpretation von Benutzeranfragen gew\u00e4hrleistet; Generierung von Unterfragen, die komplexe Abfragen in einfachere Teile zerlegen und die Genauigkeit verbessern; und Paraphrasierung, die die Klarheit verbessert und die Antworten auf die Bed\u00fcrfnisse der Benutzer zuschneidet.<\/li>\n Die Aufgabe des Modells besteht darin, eine Beschreibung in nat\u00fcrlicher Sprache in einen Codeausschnitt, eine Datenbankabfrage oder ein Skript zu konvertieren. Dies ist hilfreich f\u00fcr das Generieren dynamischer Abfragen in strukturierten Datenbanken wie SQL oder das Erstellen von Visualisierungen durch Generieren von Code, der Daten liest und Visualisierungen erzeugt.<\/li>\n Das Ziel des Modells besteht darin, ein oder mehrere Dokumente zu verarbeiten und eine pr\u00e4gnante Version zu generieren, die die wesentlichen Informationen beibeh\u00e4lt. Er extrahiert die wichtigsten Punkte und formuliert eine Zusammenfassung. Die Zusammenfassung von Dokumenten kann die Suchergebnisse verbessern und ist auch in Anwendungen von entscheidender Bedeutung, bei denen Benutzer Zusammenfassungen langer und komplizierter Dokumente ben\u00f6tigen.<\/li>\n Das Modell erstellt neue Inhalte, die mit einem bestimmten Kontext konsistent sind. Zu den Anwendungen geh\u00f6ren das Generieren von Antworten innerhalb eines RAG-Systems (Retrieval-Augmented Generation), das Bilden von Frage-Antwort-Paaren f\u00fcr h\u00e4ufig gestellte Fragen (FAQs) oder Testf\u00e4lle sowie das Erstellen spezifischer Zusammenfassungen oder verwandter Abfragen zur Unterst\u00fctzung der Dokumentensuche.<\/li>\n<\/ul>\n Im Vergleich zu anderen Arten von Softwarekomponenten haben generative KI-Modelle und allgemein datengetriebene Komponenten (maschinelles Lernen oder statistische Modelle) besondere Herausforderungen. Einige z\u00e4hlen wir im Folgenden auf:<\/p>\n Erstens erfordern generative KI-Modelle eine spezifische Infrastruktur (GPUs, TPUs), die zu hohen Energiekosten und potenziell geringer Latenz f\u00fchren kann. Daher ist es wichtig zu bestimmen, ob der Anwendungsfall \u00fcberhaupt ein solches Modell erfordert (die \u00c4hnlichkeitssuche ben\u00f6tigt dies bspw. nicht) und wenn ja, ob das Modell zur Laufzeit verwendet werden muss, z.B. in Chatbots, oder ob es offline verwendet werden kann (z.B. um Inhalte zu generieren, die sp\u00e4ter zur Laufzeit abgefragt werden).<\/p>\n Im Einklang mit dem Thema Infrastruktur ist das Hosting<\/a> generativer KI-Modelle ein Thema, das \u00fcber die reine Entwicklung von Anwendungen hinausgeht, da es strategische Entscheidungen seitens der Organisation in Bezug auf Daten- und IP-Schutz, Ressourcen und F\u00e4higkeiten erfordert. W\u00e4hrend kleine Modelle lokal gehostet und auf der CPU ausgef\u00fchrt werden k\u00f6nnen, haben wir in den meisten F\u00e4llen mittlere bis gro\u00dfe Modelle (> 7b-Parametern) verwendet, die hinter einem Server laufen. Einige wurden vor Ort gehostet (mit Huggingface TGI oder vLLM), andere in der Cloud (Azure). Beide L\u00f6sungen haben ihre Vor- und Nachteile. Aus der Sicht eines Entwicklers ist aber der Aufruf eines Modells nur einem API-Aufruf.<\/p>\n Die Wahl der Modelle wird von der Art der Modalit\u00e4t beeinflusst, da relevante Informationen sowohl in Form von Text als auch in Form von Dokumentstrukturen, Tabellen und Bildern vorliegen k\u00f6nnen. Sprach- und dom\u00e4nenspezifisches Vokabular ist ein weiterer wichtiger Aspekt, der sich auf die Wahl des Modells auswirkt (obwohl mehrsprachige Modelle inzwischen immer h\u00e4ufiger werden).<\/p>\n Auch die Lizenzierung spielt eine Rolle: Einige Modelle erlauben nur die Nutzung in der Forschung, andere die kommerzielle Nutzung. Ein Vorteil von Open-Source-Modellen ist, dass sie bei Bedarf fein abgestimmt (fine-tuning) werden k\u00f6nnen.<\/p>\n Schlie\u00dflich kann die Qualit\u00e4t der Modelle anhand von Benchmarks und Leaderboards bewertet werden. Benchmarks geben nur einen ersten Eindruck. Modelle m\u00fcssen im Kontext der Anwendung bewertet werden, in der sie verwendet werden (siehe unten).<\/p>\n Die Datenvorverarbeitung ist ein Schl\u00fcsselelement. Das Extrahieren von Informationen aus Dokumenttypen wie PDFs, Word-Dateien oder HTML erfordert ein gutes Parsing, das trotz Fortschritten immer noch Zeit und eine sorgf\u00e4ltige Auswertung erfordert. Da LLMs oder multimodale Modelle auf Text-in\/-out-Basis arbeiten, sind geeignete Prompts und Ausgabeeinschr\u00e4nkungen oder Parsen erforderlich. In Anwendungsf\u00e4llen, in denen Dokumente durchsucht werden, ist die Datenvorverarbeitung das, was eine Anwendung erfolgreich oder nicht erfolgreich macht.<\/p>\n Die Art und Weise, wie wir Prompts formulieren, hat einen erheblichen Einfluss auf die Antworten, die von Modellen generiert werden. Dies unterstreicht, wie wichtig ein effektives Prompt Engineering<\/a> ist. Prompt Engineering umfasst eine Reihe von Aktivit\u00e4ten, die darauf abzielen, Anweisungen zu erstellen, die generative KI-Modelle interpretieren k\u00f6nnen, um optimale Ergebnisse zu erzielen. Es haben sich verschiedene Prompttechniken entwickelt, um die Qualit\u00e4t der Antworten der Modelle zu verbessern. Ein bekanntes Beispiel ist die \u00bbChain-of-Thoughts\u00ab (Denkkette), die einen schrittweisen Denkprozess f\u00f6rdert. Auf generativer KI basierende Anwendungen erfordern h\u00e4ufig benutzerdefinierte Prompts f\u00fcr bestimmte Aufgaben. Das Management von Prompts \u2013 durch Versionierung, Testen und Optimieren \u2013 ist daher unerl\u00e4sslich, um ihre Effektivit\u00e4t zu maximieren. Bei der Entwicklung solcher Anwendungen ist es notwendig, Prompts als Code-Artefakte zu betrachten.<\/p>\n Eine weitere Herausforderung ist das Risiko von Halluzinationen<\/a>, das auf verschiedene Weise gemildert werden kann. M\u00f6glichkeiten sind die Verankerung der Antworten des Modells durch das Abrufen relevanter Dokumente und die Implementierung von Konsistenz- und Relevanzpr\u00fcfungen, bei denen das LLM die Relevanz von Dokumenten und die Konsistenz seiner Antworten bewertet. Diese Methoden k\u00f6nnen zwar die Ausgabequalit\u00e4t verbessern, erfordern jedoch eine sorgf\u00e4ltige Orchestrierung und k\u00f6nnen die Komplexit\u00e4t des Systems erh\u00f6hen, was h\u00e4ufig zu einer erh\u00f6hten Latenz und einem erh\u00f6hten Energieverbrauch f\u00fchrt.<\/p>\n Die Qualit\u00e4tssicherung generativer KI-basierter Anwendungen ist nicht trivial. Viele Komponenten beeinflussen die Qualit\u00e4t der Anwendung: Datenvorverarbeitung, Prompts, Modelle usw. Alle diese Komponenten werden nach einem Workflow orchestriert und m\u00fcssen konsequent getestet werden. Ein wesentlicher Faktor, der die Evaluierung generativer KI-Anwendungen erschwert, ist die potenziell unendliche Vielfalt der akzeptierten Eingaben. Zum Beispiel ist die Anzahl der Fragen, die man einem Chatbot stellen kann, unendlich. Es ist notwendig, \u00fcber ein robustes Testframework zu verf\u00fcgen und Strategien zur Generierung von Testf\u00e4llen zu entwickeln.<\/p>\n Neben den oben genannten Herausforderungen ist zu beachten, dass sich der aktuelle Markt und das technische \u00d6kosystem in rasantem Tempo weiterentwickeln. W\u00e4hrend die Entwicklung eines Retrieval Augmented Systems (RAG)<\/a> vor etwas mehr als einem Jahr noch als herausfordernd galt, gibt es heute viele Open-Source-L\u00f6sungen, die RAG out of the box anbieten, und viele Start-ups, die solche Dienstleistungen anbieten. Viele Datenbankanbieter bieten jetzt Vektorsuchfunktionen an, um \u00e4hnliche Texte oder Bilder zu durchsuchen. F\u00fcr die \u00dcberwachung und Bewertung solcher Anwendungen stehen mittlerweile Generative-AI-DevOps-Plattformen zur Verf\u00fcgung.<\/p>\n Die meisten unserer Projekte haben einen F&E-Schwerpunkt, d.h. sie sind darauf ausgerichtet, die Machbarkeit einer L\u00f6sung zu bewerten und Wissen zu transferieren. Hier ist unser Ansatz iterativ und basiert auf dem Konzept des AI Innovation Lab [1]. Das bedeutet, es liegt ein starker Schwerpunkt auf End-to-End-Evaluation, DevOps-Prinzipien und kontinuierlicher Verbesserung auf der Grundlage des CRISP-DM-Prozessmodells [2].<\/p>\n Die Betonung einer iterativen und experimentellen Denkweise ist notwendig, da generative KI-Modelle nicht linear sind und es schwierig ist, die Auswirkungen geringf\u00fcgiger \u00c4nderungen auf das Ergebnis vorherzusagen (siehe „Adversarial Examples“). Dies erh\u00f6ht das Risiko, dass die entwickelte L\u00f6sung nicht die gew\u00fcnschte Qualit\u00e4t (innerhalb eines vorgegebenen Zeitraums) erreicht. Daher ist ein MLOps- (oder AIOps-) Mindset hilfreich.<\/p>\n In unserem auf Wissensmanagement fokussierten Kontext sind generative KI-Anwendungen eher auf Microservices aufgebaut (oder zumindest auf verschiedenen Komponenten, die in getrennten Containern laufen). Workflow-Entwicklung, Orchestrierung und Tests spielen hier eine Schl\u00fcsselrolle. Data Governance und Data Engineering sind ebenfalls wesentliche Komponenten f\u00fcr solche Anwendungsf\u00e4lle.<\/p>\n Die Integration gro\u00dfer Sprachmodelle (LLM) bringt eine Reihe neuer Herausforderungen mit sich. Darunter die Komplexit\u00e4t der Gestaltung effektiver Prompts, das Management potenzieller Halluzinationen und der Umgang mit Ressourcenbeschr\u00e4nkungen. Dennoch ist es wichtig anzuerkennen, dass auch die traditionellen Herausforderungen in der Organisation und Koordination verschiedener Systemkomponenten, wie die Orchestrierung verschiedener Mikrodienste und die Sicherstellung eines reibungslosen Betriebs, weiterhin relevant bleiben. Daher ist die Annahme einer experimentellen und iterativen Denkweise unerl\u00e4sslich, um diese Komplexit\u00e4ten erfolgreich zu bew\u00e4ltigen. Die Balance zwischen den innovativen Aspekten des LLM-Engineerings und etablierten Praktiken wird entscheidend sein, um qualitativ hochwertige Ergebnisse im dynamischen Bereich der generativen KI-Anwendungen zu erzielen.<\/p>\n Sie wollen KI nutzen und wissen, ob es f\u00fcr Ihr Unternehmen sinnvoll ist? Mit \u00bbAI Innovation Labs\u00ab<\/b><\/a> haben wir einen Methoden- und Werkzeugbaukasten entwickelt, mit dem wir KI-Anwendungen, die einen klaren unternehmerischen Mehrwert aufweisen, systematisch identifizieren, implementieren und evaluieren.<\/p>\n
\nNotwendigkeit eines effizienten Wissensmanagements, gepaart mit der Erwartung, dass generative KI Prozesse rationalisiert und beschleunigt<\/strong>.<\/p>\n\n
Informationsextraktion und Dokumentenklassifikation<\/h4>\n
Intelligente Suchmaschine (RAG)<\/h4>\n
Interaktive Schnittstelle wie Chatbots<\/h4>\n
Generierung neuer Inhalte<\/h4>\n
Typische Aufgaben, die generative KI-Modelle l\u00f6sen k\u00f6nnen<\/h3>\n
\n
Klassifikation<\/h4>\n
Extraktion von Informationen<\/h4>\n
\u00dcbersetzung<\/h4>\n
Neuformulierung<\/h4>\n
Text-zu-Code<\/h4>\n
Zusammenfassung<\/h4>\n
Generierung von Inhalten<\/h4>\n
Was ist bei der Entwicklung generativer KI-Anwendungen zu beachten?<\/h2>\n
Hardware, Infrastruktur und Latenz<\/h3>\n
Hosting<\/h3>\n
Wahl des Modells<\/h3>\n
Datenvorverarbeitung<\/h3>\n
Prompt Engineering<\/h3>\n
Risiko von Halluzinationen<\/h3>\n
Versuch und Versuchsaufbau<\/h3>\n
Evolution des Technologie-Stacks<\/h3>\n
Kompetenzen und Prozesse<\/h3>\n
Unser Fazit zum aktuellen Stand der Entwicklung von KI-Anwendungen<\/h2>\n
Welche KI-Anwendungen sind f\u00fcr Ihr Business die richtigen?<\/h2>\n
Mehr zu LLMs and generativer KI:<\/h3>\n
\n
\n
Referenzen<\/h3>\n