{"id":11884,"date":"2024-05-13T12:23:57","date_gmt":"2024-05-13T10:23:57","guid":{"rendered":"https:\/\/www.iese.fraunhofer.de\/blog\/?p=11884"},"modified":"2026-01-22T14:20:56","modified_gmt":"2026-01-22T13:20:56","slug":"retrieval-augmented-generation-rag","status":"publish","type":"post","link":"https:\/\/www.iese.fraunhofer.de\/blog\/retrieval-augmented-generation-rag\/","title":{"rendered":"Retrieval Augmented Generation (RAG): Chatten mit den eigenen Daten"},"content":{"rendered":"

Retrieval Augmented Generation (RAG) ist ein KI-Verfahren, das ein LLM mit einer guten Suche, z.B. in einer Dokumentensammlung, in einer Datenbank oder in einem Knowledge Graph erg\u00e4nzt, um Antworten zu generieren. Hierdurch l\u00e4sst sich die Verl\u00e4sslichkeit (Dependable AI<\/a>) des Generierens deutlich steigern und gleichzeitig wird es m\u00f6glich, das Potenzial von Large Language Models f\u00fcr eigene (interne) Dokumente und Daten zu nutzen \u2013 ganz ohne Fine-Tuning. Oft wird in diesem Zusammenhang auch von RAG AI gesprochen.<\/p>\n

Large Language Models (LLM)<\/a> k\u00f6nnen viele Fragen erstaunlich gut beantworten \u2013 zumindest auf den ersten Blick. Dies ist m\u00f6glich, da beim Training der Modelle auch Wissen aus den Trainingsdaten in den Parametern der LLM gespeichert wird. Allerdings sind LLM prim\u00e4r Textgeneratoren und bringen keinen Mechanismus mit, um dieses \u00bbnebenbei\u00ab angeeignete Wissen gezielt abzurufen.<\/p>\n

Bei aktuellen und hinreichend gro\u00dfen Large Language Models funktioniert das Beantworten von Wissensfragen zu allgemein bekannten Themen auch ohne weitere Hinzunahme zus\u00e4tzlicher Quellen meist recht gut. Aber auch nicht immer. Manchmal schleichen sich Fehler ein, es werden wichtige Punkte vergessen oder das LLM erfindet Fakten \u2013 man spricht hierbei auch von Halluzinationen<\/a> (siehe Ji et al. (2023): Survey of Hallucination in Natural Language Generation<\/a>). Eine eindrucksvolle Darstellung davon, wie das Vortraining mit den Problemen zusammenh\u00e4ngt, findet sich bei McCoy et al. (2023): Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve<\/a>.<\/p>\n

In der Literatur finden sich viele Techniken zum Identifizieren von Halluzinationen, z. B. SelfCheckGPT<\/a>, aber auch zu deren Vermeidung. Eine verbreitete und hilfreiche Methode ist Retrieval Augmented Generation (RAG)<\/a> (siehe auch Shuster et al (2021): Retrieval Augmentation Reduces Hallucination in Conversation<\/a>). In einem ganz aktuellen Paper untersuchen Wu et al. (2024)<\/a> die Frage, in welchem Ma\u00dfe RAG wirklich hilft, Halluzinationen eines LLM zu verhindern.<\/p>\n

Was ist RAG AI (Retrieval Augmented Generation)?<\/h2>\n

Auf Deutsch bedeutet Retrieval Augmented Generation (RAG): Generieren [z.B. von Text] erg\u00e4nzt durch Abrufen [von Informationen]<\/strong>. Oft wird diese KI-Technik auch als RAG AI bezeichnet. Konkret bedeutet dies, dass einem LLM mittels einer guten Suche Wissensquellen zur Seite gestellt werden. Hierdurch muss das Wissen, das zur Beantwortung eines Prompts erforderlich ist, nicht mehr aus dem LLM kommen, sondern es wird den angebundenen Quellen entnommen<\/strong>. Die Aufgabe des Large Language Models besteht dann nur noch darin, die Suchergebnisse im Sinne der urspr\u00fcnglichen Anfrage (des Prompts) zu verwerten, z.B. zusammenzufassen. Ein modernes LLM kann mithilfe eines dem Prompt hinzugef\u00fcgten Textes sehr zuverl\u00e4ssig Fragen beantworten bzw. andere Aufgabenstellungen l\u00f6sen \u2013 viel zuverl\u00e4ssiger, als wenn es auf implizit angeeignetes Wissen zur\u00fcckgreifen muss.<\/p>\n

\"Infografik
Infografik: Wie funktioniert Retrieval Augmented Generation (RAG AI) im Detail?<\/figcaption><\/figure>\n
Wie funktioniert Retrieval Augmented Generation?<\/strong> Bei Retrieval Augmented Generation (RAG AI) erweitert man den Prompt f\u00fcr das Large Language Model um Suchergebnisse aus einer Dokumentensammlung, einer Datenbank, einem Wissensgraph (Knowledge Graph) oder einer anderen Suche (z.B. Internetsuche). Das Wissen f\u00fcr die Antwort kommt also aus angebundenen Quellen und nicht aus dem LLM.<\/div>\n
<\/div>\n

RAG kann internes Wissen Ihres Unternehmens besser zug\u00e4nglich machen: \u00bbMit eigenen Dokumenten chatten\u00ab<\/h2>\n

Retrieval Augmented Generation (RAG) erg\u00e4nzt Large Language Models nicht nur mit dem Zweck, Halluzinationen zu vermeiden und zuverl\u00e4ssiger zu antworten<\/strong>. RAG eignet sich auch hervorragend daf\u00fcr, Fragen zu internen Dokumenten und\/oder anderen Daten <\/strong>mithilfe eines Large Language Models zu beantworten. Jedes moderne und hinreichend gro\u00dfe Large Language Model kann mithilfe von RAG ohne Fine-Tuning dazu benutzt werden, Antworten auf Grundlage von internen Dokumenten bzw. Datenbanken <\/strong>zu generieren. Stark vereinfacht gesagt: Durch RAG wird es m\u00f6glich, mit eigenen Dokumenten bzw. Daten zu chatten.<\/p>\n

Welche Quellen lassen sich f\u00fcr RAG anbinden?<\/h3>\n

Oft wird Retrieval Augmented Generation mithilfe einer semantischen Suche f\u00fcr Dokumentensammlungen realisiert. Diese stellt semantisch passende Passagen aus Textsammlungen bereit.<\/p>\n

Wie funktioniert eine semantische Suche?<\/strong> Textpassagen werden mithilfe sogenannter Embedding-Modelle (z. B. Sentence-Transformers<\/a>) als Vektoren repr\u00e4sentiert. Auch die Suchphrase wird mit dem gleichen Modell als Vektor dargestellt. Da Embedding-Modelle Vektoren erzeugen, die die Semantik eines Ausdrucks beinhalten, k\u00f6nnen \u00fcber eine \u00c4hnlichkeitssuche die Embedding-Vektoren gefunden werden, die dem Suchausdruck am \u00e4hnlichsten sind — und damit lassen sich auch die \u00e4hnlichsten Textabschnitte abrufen. Technisch wird dies meist \u00fcber eine Vektordatenbank<\/a> realisiert (bekannte Open-Source-Vektordatenbanken f\u00fcr den Produktivbetrieb sind Milvus<\/a>, Weaviate<\/a> und Qdrant<\/a>).<\/div>\n

Manchmal ist anstelle einer Vektorsuche auch eine fuzzy (unscharfe) String-Suche sinnvoll, die z. B. mit Elasticsearch<\/a>, OpenSearch<\/a> oder Apache Solr<\/a> f\u00fcr den Produktivbetrieb implementiert werden kann. Wir haben gute Erfahrungen mit einer hybriden Suche gemacht: einer Kombination aus semantischer Vektorsuche und fuzzy Keyword-Suche mit OpenSearch.<\/p>\n

Letztlich kann aber jede Art von Datenbank und Suche (z. B. auch eine Internetsuche) f\u00fcr RAG genutzt werden, solange die Suchergebnisse als Textabschnitte<\/strong> dargestellt werden k\u00f6nnen; Beispiele hierf\u00fcr sind Wissensgraphen <\/a>(Knowledge Graph<\/a>) und relationale Datenbanken (SQL-Datenbanken). Um diese Datenquellen nutzen zu k\u00f6nnen, erzeugt das Large Language Modell (es kann auch ein zweites, spezialisiertes LLM zum Einsatz kommen) eine Datenbankabfrage in der erforderlichen Abfragesprache, z. B. SQL<\/a>, Cypher<\/a> oder SPARQL<\/a>. Der Einsatz solcher Datenquellen kann sinnvoll sein, wenn diese sowieso schon in einem Unternehmen existieren und mithilfe des LLM zug\u00e4nglich gemacht werden sollen, oder wenn Fragen beantwortet werden sollen, die nicht auf Grundlage der Top-Treffer in einer Dokumentendatenbank beantwortet werden k\u00f6nnen, z. B. \u00bbWie viele<\/em> Projekte hat das Fraunhofer IESE im Jahr 2022 erfolgreich abgeschlossen?\u00ab, oder f\u00fcr Fragen, f\u00fcr die eine reine Dokumenten<\/em>datenbank mehrfach durchsucht werden m\u00fcsste, sogenannte Multi-Hop-Fragen.<\/p>\n

Wie lassen sich Datenbanken f\u00fcr RAG anbinden?<\/h3>\n

Zur Herstellung der Verbindung von LLM und Datenbank gibt es umfangreiche Open-Source-Bibliotheken, z.B. LangChain<\/a> und LlamaIndex<\/a>. Man kann die Anbindung aber auch mit wenig Aufwand selbst programmieren, was die M\u00f6glichkeit bietet, auf Besonderheiten des Use Cases einzugehen.<\/strong> Zum Beispiel kann man so eine automatische Synonymersetzung integrieren, um die Suche zu verbessern. Unser Team Data Science<\/a> kann hierbei unterst\u00fctzen.<\/p>\n

Welches LLM ist f\u00fcr Retrieval Augmented Generation geeignet?<\/h2>\n

Grunds\u00e4tzlich l\u00e4sst sich Retrieval Augmented Generation mit allen Large Language Models kombinieren, die programmatisch, z. B. \u00fcber eine API, zug\u00e4nglich sind. Es ist also m\u00f6glich, sowohl kommerzielle LLM als auch selbstbetriebene Open-Source Large Language Models (on-premises) zu nutzen. Auch hierbei helfen Bibliotheken wie LangChain oder LlamaIndex. Sowohl instruction-tuned als auch chat-tuned LLM eignen sich unserer Erfahrung nach f\u00fcr RAG.<\/p>\n

Sensible Daten mit einem Open-Source LLM verarbeiten (on-premises)<\/h3>\n

Open-Source Large Language Models bieten viele Vorteile gegen\u00fcber kommerziellen Angeboten<\/a>. Im Kontext von Retrieval Augmented Generation ist aber sicherlich ein besonders wichtiger Vorteil, dass diese on-premises selbst betrieben werden k\u00f6nnen, denn RAG soll ja h\u00e4ufig mit internen sensiblen Daten genutzt werden (bei jeder Anfrage m\u00fcssen dem LLM also interne sensible Daten \u00fcbermittelt werden). Mit einem selbstbetriebenen (on-premises) Open-Source Large Language Model ist sichergestellt, dass w\u00e4hrend dessen Benutzung zu keinem Zeitpunkt sensible Daten das eigene Netzwerk verlassen m\u00fcssen<\/strong>. Die gesamte Datenverarbeitung kann auf der eigenen Infrastruktur stattfinden.<\/p>\n

Einige weitere Vorteile:<\/p>\n