{"id":12269,"date":"2024-06-17T09:15:06","date_gmt":"2024-06-17T07:15:06","guid":{"rendered":"https:\/\/www.iese.fraunhofer.de\/blog\/?p=12269"},"modified":"2026-08-17T12:20:32","modified_gmt":"2026-08-17T10:20:32","slug":"wie-funktionieren-llms","status":"publish","type":"post","link":"https:\/\/www.iese.fraunhofer.de\/blog\/wie-funktionieren-llms\/","title":{"rendered":"Wie funktionieren LLMs? Ein Blick ins Innere gro\u00dfer Sprachmodelle"},"content":{"rendered":"\n
\n

Large Language Models (LLMs, auf Deutsch gro\u00dfe Sprachmodelle), sind KI-Modelle, die auf gro\u00dfen Datenmengen trainiert werden und Texte verarbeiten und erzeugen k\u00f6nnen. Moderne LLMs basieren \u00fcberwiegend auf der Transformer-Architektur und nutzen den Attention-Mechanismus, um Zusammenh\u00e4nge innerhalb des Kontexts zu ber\u00fccksichtigen. In diesem Blogbeitrag erkl\u00e4ren KI-Expertinnen und -Experten, wie LLMs funktionieren und welche Komponenten dabei zusammenspielen.<\/strong><\/p>\n\n\n\n

\n<\/div>\n\n\n\n
\n
\n

arrow_outward<\/p>\n\n\n\n

Grundlagen zu LLMs:<\/strong> Was sind Large Language Models, welche Modelle gibt es und was ist bei ihrer Nutzung zu beachten? Das erkl\u00e4ren wir in unserem Grundlagenartikel zu Large Language Models<\/a>.<\/p>\n<\/div>\n<\/div>\n\n\n\n

Die Funktionsweise eines LLMs: 4 Schritte bis zum Ergebnis<\/h2>\n\n\n\n

Gro\u00dfe Sprachmodelle<\/a>, wie wir sie heute kennen, sind nur die Spitze des Eisbergs. In der Geschichte der K\u00fcnstlichen Intelligenz<\/a> wurden Sprachmodelle (Modelle zur L\u00f6sung sprachbezogener Probleme wie \u00dcbersetzung, Klassifikation, Textgenerierung etc.) mit Techniken entwickelt, die nicht immer auf neuronalen Netzen basierten (z.B. Hidden-Markov-Modelle). Heute erleben wir die \u00c4ra der Transformator-Modelle (das T in GPT): Neuronale-Netze-Modelle, die auf dem \u00bbAttention\u00ab-Mechanismus aufbauen.
Grunds\u00e4tzlich kann ein Large Language Model (LLM) in vier Hauptteile oder Funktionen unterteilt werden:<\/p>\n\n\n\n

    \n
  1. Tokenisierung<\/strong> (Tokenizer)<\/li>\n\n\n\n
  2. Einbettung (Embedding)<\/strong><\/li>\n\n\n\n
  3. Berechnung der Wahrscheinlichkeit des n\u00e4chsten Tokens (Vorhersage<\/strong>)<\/li>\n\n\n\n
  4. Strategien zur Auswahl der Ausgabe (manchmal auch Dekodierung<\/strong> genannt).<\/li>\n<\/ol>\n\n\n\n\n\n\n\t\n\n\t\n\t\n\t\n\t
    <\/td>Schritt<\/th>Funktion<\/th>Vereinfacht gesagt<\/th>\n<\/tr>\n<\/thead>\n
    1<\/td>Tokenisierung<\/td>Text \u2192
    \nTokens<\/td>    		Der Eingabetext wird in kleinere Einheiten zerlegt.<\/td>\n<\/tr>\n
    2<\/td>Embedding<\/td>Tokens \u2192
    \nVektoren<\/td>    		Die Tokens werden in mathematische Vektoren \u00fcberf\u00fchrt.<\/td>\n<\/tr>\n
    3<\/td>Vorhersage<\/td>Kontext \u2192 Wahrscheinlichkeiten<\/td>Das Modell berechnet Wahrscheinlichkeiten f\u00fcr m\u00f6gliche n\u00e4chste Tokens.<\/td>\n<\/tr>\n
    4<\/td>Dekodierung<\/td>Wahrscheinlichkeiten \u2192 Ausgabe<\/td>Eine Dekodierungsstrategie bestimmt, welches Token als N\u00e4chstes ausgegeben wird.<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n\n\n\n

    Tokenisierung:<\/strong> Vom Text zum Token<\/h3>\n\n\n\n

    Der erste Teil, die Tokenisierung, besteht darin, einen Text in kleinere Teile zu zerlegen. F\u00fcr uns Menschen ist es am nat\u00fcrlichsten, W\u00f6rter als Token zu verwenden. Es gibt verschiedene Tokenisierungstechniken, von der Verwendung einzelner Zeichen \u00fcber mehrere Zeichen (\u00bbn-grams\u00ab, Teilw\u00f6rter) bis hin zu W\u00f6rtern. Die Wahl einer Tokenisierungstechnik ist eine Abw\u00e4gung zwischen zwei ma\u00dfgebenden Parametern. Zum einen wird die Gesamtzahl der m\u00f6glichen Token ber\u00fccksichtigt. Bei der Verwendung von Einzelzeichen in ASCII w\u00fcrden wir potenziell 128 Token erhalten. Bei der Verwendung von W\u00f6rtern im Englischen w\u00e4ren es etwa 200.000 Token. Im Deutschen w\u00e4ren es potenziell mehr. Zum anderen wird der semantische Informationsgehalt betrachtet. Einzelzeichen enthalten im Vergleich zu W\u00f6rtern nicht viele Informationen. Aktuelle LLMs haben auf Tokenisierungsverfahren umgestellt, die Teilworte benutzen. Beispiele hierf\u00fcr sind Byte-Pair Encoding, Wordpiece, Unigram und Sentencepiece.<\/p>\n\n\n\n

    \"Funktionsweise
    Ein Beispiel f\u00fcr Tokenisierung (Made with https:\/\/tiktokenizer.vercel.app\/<\/a>).<\/figcaption><\/figure>\n\n\n\n

    Embedding:<\/strong> Vom Token zum Vektor<\/h3>\n\n\n\n

    Der zweite Teil, die Einbettung (Embedding), besteht darin, Token auf Vektoren abzubilden. Obwohl die Forschung zu Worteinbettungen schon fr\u00fcher begann, ist eine der ersten bekannten Einbettungstechniken word2vec (2013). Dies ist ein Schl\u00fcsselelement, das es Analysetechniken (wie neuronalen Netzen) erm\u00f6glicht, mit Text zu arbeiten. Einbettungen werden in der Regel so berechnet, dass zwei semantisch \u00e4hnliche Token zu einem \u00e4hnlichen Vektor f\u00fchren. Die Einbettungstechnik BPEmb<\/a> wendet beispielsweise die Byte Pair Encoding Tokenization auf Wikipedia-Artikel in verschiedenen Sprachen an und verwendet GloVe<\/a>, um Vektoren zu erzeugen, die semantische Informationen enthalten. In der Transformers-Architektur werden Token nicht nur aufgrund ihrer Semantik, sondern auch aufgrund ihrer Position im Satz in Vektoren eingebettet (so genanntes Positional Encoding).<\/p>\n\n\n\n

    \"Wie
    2D-Projektion von mit GloVe erzeugten Wortvektoren (selbst erzeugt nach: https:\/\/nlp.stanford.edu\/projects\/glove\/<\/a>).<\/figcaption><\/figure>\n\n\n\n

    Der Kern des LLM: Vorhersage<\/strong> des n\u00e4chsten Tokens<\/h3>\n\n\n\n

    Der dritte Teil ist die Berechnung der Wahrscheinlichkeit des n\u00e4chsten Tokens. Dies ist der Kern der LLMs und der Grund, warum sie so gro\u00df sind. Obwohl im Prinzip jede Vorhersagetechnik funktionieren w\u00fcrde (man k\u00f6nnte hier sogar Random Forest verwenden), verwenden alle aktuellen LLMs neuronale Netze und die meisten (bis heute) die Transformer-Architektur. Die Wahl der Architektur h\u00e4ngt in erster Linie von der F\u00e4higkeit ab, lange Eingaben (den so genannten Kontext) zu erfassen, auf vielen Daten mit m\u00f6glichst wenig Rechenaufwand zu trainieren und so gut wie m\u00f6glich zu sein.<\/p>\n\n\n\n

    Dekodierung:<\/strong> von der Token-Wahrscheinlichkeit zum (hoffentlich lesbaren) Text<\/h3>\n\n\n\n

    Sobald das Modell eine Wahrscheinlichkeit f\u00fcr alle m\u00f6glichen Token berechnet hat, muss entschieden werden, welche Token als n\u00e4chstes ausgegeben werden sollen. Die Dekodierungsstrategie kann einfach sein (z. B. Greedy Search: immer das wahrscheinlichste Token ausw\u00e4hlen oder Top-K Sampling: aus den k wahrscheinlichsten Token ausw\u00e4hlen) oder komplexer (z.B. Beam Search: aus den wahrscheinlichsten Token-Sequenzen ausw\u00e4hlen oder Contrastive Search: die Wahrscheinlichkeit des Tokens gegen seine \u00c4hnlichkeit mit dem Kontext abw\u00e4gen).<\/p>\n\n\n\n

    \"So
    Beam-Search-Dekodierungsstrategie: Die Ausgabe des LLM ist eine Token-Sequenz, die die wahrscheinlichste ist (Bildquelle<\/a>).<\/figcaption><\/figure>\n\n\n\n

    Training<\/strong> mit ausreichend Daten und Feinabstimmung<\/h3>\n\n\n\n

    Heutige LLMs werden zun\u00e4chst an einem gro\u00dfen und vielf\u00e4ltigen Datensatz vortrainiert. Ziel ist es, ein umfassendes Sprachverst\u00e4ndnis und -wissen zu erlernen. Dies ist sehr rechenintensiv. Anschlie\u00dfend werden die Modelle weiter trainiert, um Anweisungen genauer zu befolgen. Dies wird als Instruction Tuning bezeichnet. Schlie\u00dflich k\u00f6nnen diese Modelle f\u00fcr bestimmte Aufgaben fein abgestimmt werden (Fine-Tuning), wenn dies erforderlich ist.<\/p>\n\n\n\n

    Unser Fazit: So funktionieren Large Language Models<\/h2>\n\n\n\n

    LLMs entwickeln sich schnell weiter. Neue Architekturen und Embeddings werden st\u00e4ndig entwickelt und evaluiert.<\/p>\n\n\n\n

    Large Language Models (LLMs) verarbeiten Texte nicht wie Menschen, sondern Schritt f\u00fcr Schritt auf Basis von Tokens, Vektorrepr\u00e4sentationen und neuronalen Netzen. Die Transformer-Architektur und insbesondere der Attention-Mechanismus erm\u00f6glichen es ihnen, Zusammenh\u00e4nge innerhalb des Kontexts zu ber\u00fccksichtigen und daraus Wahrscheinlichkeiten f\u00fcr die n\u00e4chsten Tokens zu berechnen.<\/p>\n\n\n\n

    Das Verst\u00e4ndnis dieser grundlegenden Funktionsweise hilft dabei, die M\u00f6glichkeiten und Grenzen von LLMs besser einzusch\u00e4tzen und geeignete Modelle und Verfahren f\u00fcr konkrete Anwendungen auszuw\u00e4hlen. Da sich Architekturen, Modelle und Verfahren zur Anpassung von LLMs kontinuierlich weiterentwickeln, bleibt auch das Verst\u00e4ndnis ihrer technischen Grundlagen relevant.<\/p>\n\n\n\n

    \n
    \n

    arrow_outward<\/p>\n\n\n\n


    Weiterlesen<\/strong>: Mehr zum Thema generative KI und LLMs<\/p>\n\n\n\n