{"id":12269,"date":"2024-06-17T09:15:06","date_gmt":"2024-06-17T07:15:06","guid":{"rendered":"https:\/\/www.iese.fraunhofer.de\/blog\/?p=12269"},"modified":"2026-01-22T14:12:33","modified_gmt":"2026-01-22T13:12:33","slug":"wie-funktionieren-llms","status":"publish","type":"post","link":"https:\/\/www.iese.fraunhofer.de\/blog\/wie-funktionieren-llms\/","title":{"rendered":"Wie funktionieren LLMs? Ein Blick ins Innere gro\u00dfer Sprachmodelle"},"content":{"rendered":"

In diesem Blogbeitrag erkl\u00e4ren KI-Expertinnen und Experten, welche Komponenten zu LLMs (Large Language Models, deutsch: gro\u00dfe Sprachmodelle) geh\u00f6ren.<\/p>\n

Die Funktionsweise eines LLMs: 4 Schritte bis zum Ergebnis<\/h2>\n

Gro\u00dfe Sprachmodelle<\/a>, wie wir sie heute kennen, sind nur die Spitze des Eisbergs. In der Geschichte der K\u00fcnstlichen Intelligenz<\/a> wurden Sprachmodelle \u2013 Modelle zur L\u00f6sung sprachbezogener Probleme (\u00dcbersetzung, Klassifikation, Textgenerierung) \u2013 mit Techniken entwickelt, die nicht immer auf neuronalen Netzen basierten (z.B. Hidden-Markov-Modelle). Heute erleben wir die \u00c4ra der Transformator-Modelle (das T in GPT): Neuronale-Netze-Modelle, die auf dem \u00bbAttention\u00ab-Mechanismus aufbauen.
\nGrunds\u00e4tzlich kann ein Large Language Model (LLM) in vier Hauptteile oder Funktionen unterteilt werden:<\/p>\n

    \n
  1. Tokenisierung<\/strong> (Tokenizer)<\/li>\n
  2. Einbettung (Embedding)<\/strong><\/li>\n
  3. Berechnung der Wahrscheinlichkeit des n\u00e4chsten Tokens (Vorhersage<\/strong>)<\/li>\n
  4. Strategien zur Auswahl der Ausgabe (manchmal auch Dekodierung<\/strong> genannt).<\/li>\n<\/ol>\n

    Tokenisierung:<\/strong> Vom Text zum Token<\/h3>\n

    Der erste Teil, die Tokenisierung, besteht darin, einen Text in kleinere Teile zu zerlegen. F\u00fcr uns Menschen ist es am nat\u00fcrlichsten, W\u00f6rter als Token zu verwenden. Es gibt verschiedene Tokenisierungstechniken, von der Verwendung einzelner Zeichen \u00fcber mehrere Zeichen (\u00bbn-grams\u00ab, Teilw\u00f6rter) bis hin zu W\u00f6rtern. Die Wahl einer Tokenisierungstechnik ist eine Abw\u00e4gung zwischen zwei ma\u00dfgebenden Parametern. Zum einen wird die Gesamtzahl der m\u00f6glichen Token ber\u00fccksichtigt. Bei der Verwendung von Einzelzeichen in ASCII w\u00fcrden wir potenziell 128 Token erhalten. Bei der Verwendung von W\u00f6rtern im Englischen w\u00e4ren es etwa 200.000 Token. Im Deutschen w\u00e4ren es potenziell mehr. Zum anderen wird der semantische Informationsgehalt betrachtet. Einzelzeichen enthalten im Vergleich zu W\u00f6rtern nicht viele Informationen. Aktuelle LLMs haben auf Tokenisierungsverfahren umgestellt, die Teilworte benutzen. Beispiele hierf\u00fcr sind Byte-Pair Encoding, Wordpiece, Unigram und Sentencepiece.<\/p>\n

    \"Funktionsweise
    Ein Beispiel f\u00fcr Tokenisierung (Made with https:\/\/tiktokenizer.vercel.app\/<\/a>).<\/figcaption><\/figure>\n

    Embedding:<\/strong> Vom Token zum Vektor<\/h3>\n

    Der zweite Teil, die Einbettung (Embedding), besteht darin, Token auf Vektoren abzubilden. Obwohl die Forschung zu Worteinbettungen schon fr\u00fcher begann, ist eine der ersten bekannten Einbettungstechniken word2vec (2013). Dies ist ein Schl\u00fcsselelement, das es Analysetechniken (wie neuronalen Netzen) erm\u00f6glicht, mit Text zu arbeiten. Einbettungen werden in der Regel so berechnet, dass zwei semantisch \u00e4hnliche Token zu einem \u00e4hnlichen Vektor f\u00fchren. Die Einbettungstechnik BPEmb<\/a> wendet beispielsweise die Byte Pair Encoding Tokenization auf Wikipedia-Artikel in verschiedenen Sprachen an und verwendet GloVe<\/a>, um Vektoren zu erzeugen, die semantische Informationen enthalten. In der Transformers-Architektur werden Token nicht nur aufgrund ihrer Semantik, sondern auch aufgrund ihrer Position im Satz in Vektoren eingebettet (so genanntes Positional Encoding).<\/p>\n

    \"Wie
    2D-Projektion von mit GloVe erzeugten Wortvektoren (selbst erzeugt nach: https:\/\/nlp.stanford.edu\/projects\/glove\/<\/a>).<\/figcaption><\/figure>\n

    Der Kern des LLM: Vorhersage<\/strong> des n\u00e4chsten Tokens<\/h3>\n

    Der dritte Teil ist die Berechnung der Wahrscheinlichkeit des n\u00e4chsten Tokens. Dies ist der Kern der LLMs und der Grund, warum sie so gro\u00df sind. Obwohl im Prinzip jede Vorhersagetechnik funktionieren w\u00fcrde (man k\u00f6nnte hier sogar Random Forest verwenden), verwenden alle aktuellen LLMs neuronale Netze und die meisten (bis heute) die Transformer-Architektur. Die Wahl der Architektur h\u00e4ngt in erster Linie von der F\u00e4higkeit ab, lange Eingaben (den so genannten Kontext) zu erfassen, auf vielen Daten mit m\u00f6glichst wenig Rechenaufwand zu trainieren und so gut wie m\u00f6glich zu sein.<\/p>\n

    Dekodierung:<\/strong> von der Token-Wahrscheinlichkeit zum (hoffentlich lesbaren) Text<\/h3>\n

    Sobald das Modell eine Wahrscheinlichkeit f\u00fcr alle m\u00f6glichen Token berechnet hat, muss entschieden werden, welche Token als n\u00e4chstes ausgegeben werden sollen. Die Dekodierungsstrategie kann einfach sein (z. B. Greedy Search: immer das wahrscheinlichste Token ausw\u00e4hlen oder Top-K Sampling: aus den k wahrscheinlichsten Token ausw\u00e4hlen) oder komplexer (z.B. Beam Search: aus den wahrscheinlichsten Token-Sequenzen ausw\u00e4hlen oder Contrastive Search: die Wahrscheinlichkeit des Tokens gegen seine \u00c4hnlichkeit mit dem Kontext abw\u00e4gen).<\/p>\n

    \"So
    Beam-Search-Dekodierungsstrategie: Die Ausgabe des LLM ist eine Token-Sequenz, die die wahrscheinlichste ist (Bildquelle<\/a>).<\/figcaption><\/figure>\n

    Training<\/strong> mit ausreichend Daten und Feinabstimmung<\/h3>\n

    Heutige LLMs werden zun\u00e4chst an einem gro\u00dfen und vielf\u00e4ltigen Datensatz vortrainiert. Ziel ist es, ein umfassendes Sprachverst\u00e4ndnis und -wissen zu erlernen. Dies ist sehr rechenintensiv. Anschlie\u00dfend werden die Modelle weiter trainiert, um Anweisungen genauer zu befolgen. Dies wird als Instruction Tuning bezeichnet. Schlie\u00dflich k\u00f6nnen diese Modelle f\u00fcr bestimmte Aufgaben fein abgestimmt werden (Fine-Tuning), wenn dies erforderlich ist.<\/p>\n

    Unser Fazit: Es ist hilfreich zu wissen, wie ein LLM funktioniert!<\/h2>\n

    LLMs entwickeln sich schnell weiter. Neue Architekturen und Embeddings werden st\u00e4ndig entwickelt und evaluiert. Das Verst\u00e4ndnis ihrer inneren Funktionsweise ist n\u00fctzlich, denn es hilft bei der Entwicklung von Anwendungen und der Auswahl von LLMs.<\/p>\n

    \n

    Weitere Blog-Beitr\u00e4ge rund um generative KI und gro\u00dfe Sprachmodelle:<\/p>\n