Ein Open Source Large Language Model (LLM, auf Deutsch: gro\u00dfes Sprachmodell) bietet zahlreiche Vorteile, und diese gro\u00dfen Sprachmodelle haben im Jahr 2023 einen weiten Sprung nach vorne gemacht: Sie sind sehr leistungsf\u00e4hig geworden und k\u00f6nnen mittlerweile mit moderaten Hardwareanforderungen betrieben werden. In diesem Blog-Beitrag geben wir Tipps f\u00fcr den Einstieg in das Self-Hosting von Open Source Large Language Models.<\/p>\n
Seit Ende 2022 ist die Welt im ChatGPT-Fieber. Es vergeht kaum ein Tag ohne Meldungen zu generativer KI (generative AI oder auch \u00bbgenAI\u00ab), KI-gest\u00fctzten Chat-Bots und Large Language Models. Neben ChatGPT von OpenAI gibt es viele weitere kommerzielle Dienste.<\/p>\n
Mittlerweile stehen allerdings auch zahlreiche Open Source LLMs zur Verf\u00fcgung. \u00bbOpen Source\u00ab<\/a> umfasst hier Folgendes: Das Large Language Model l\u00e4sst sich unter Ber\u00fccksichtigung einer \u00bbgutm\u00fctigen\u00ab Lizenz (wie z.B. Apache 2.0) herunterladen, und in der Regel sind auch Trainingsdaten und -parameter sowie Details zur Modellarchitektur und zu den genauen Abl\u00e4ufen, die zur Modellerstellung gef\u00fchrt haben, bekannt. Diese Large Language Models k\u00f6nnen damit auf einer eigenen Infrastruktur betrieben werden.<\/p>\n Auch wenn kommerzielle Modelle aktuell meistens noch die Nase vorn haben, so bietet der Einsatz selbst betriebener Open-Source LLMs viele Vorteile:<\/p>\n Hinsichtlich Open Source Large Language Models ist im Jahr 2023 viel passiert (siehe auch den Huggingface Blogbeitrag \u00bb2023, year of open LLMs\u00ab<\/a>). Das Resultat: Es ist nun endlich m\u00f6glich, leistungsf\u00e4hige, wirklich funktionierende LLMs selbst zu betreiben. Hier eine Auswahl der Errungenschaften:<\/p>\n Um sich einen ersten Eindruck von Open Source Large Language Models zu verschaffen, kann man \u00bbkleinere\u00ab LLMs z.B. auf einer \u00e4lteren Gaming-GPU, Notebook-GPU, in Online-Diensten wie Google Colab oder sogar auf der CPU ausprobieren. Aber eine Warnung vorweg: Man k\u00f6nnte versucht sein, zu alte oder zu kleine LLMs zu testen. Man w\u00fcrde f\u00e4lschlicherweise zu dem Schluss kommen, dass man mit Open-Source Large Language Models nicht sinnvoll arbeiten kann, da die Ergebnisse zu schlecht sind. Des Weiteren k\u00f6nnte man f\u00e4lschlicherweise schlie\u00dfen, dass Open-Source Large Language Models generell zu langsam f\u00fcr den Produktivbetrieb sind.<\/p>\n F\u00fcr eine ernsthafte, realistische Evaluation sollte man ein nicht zu kleines, aktuelles LLM ausw\u00e4hlen (siehe unten). Um eine akzeptable Geschwindigkeit zu erreichen, ist der Einsatz einer GPU zu empfehlen. Quantisierung (\u00bbKleinrechnen\u00ab) hilft dabei, gr\u00f6\u00dfere Modelle auch auf GPUs mit weniger VRAM betreiben zu k\u00f6nnen. Dar\u00fcber hinaus ist es f\u00fcr erste Experimente auch hilfreich, ein performantes Backend zu benutzen, z.B. vLLM<\/a> oder Llama.cpp<\/a>.<\/p>\n Die Community hat viele Rankings erstellt, die Open Source Large Language Models vergleichen, z.T. auch mit kommerziellen Modellen, und so bei der Auswahl eines LLMs helfen k\u00f6nnen. Beispiele sind:<\/p>\n Ein Beispiel f\u00fcr ein gutes \u00bbEinsteiger-LLM\u00ab f\u00fcr allgemeine Zwecke (Stand Januar 2024) ist unserer Erfahrung nach Openchat 3.5 0106<\/a>. Es basiert auf Mistral 7B und steht unter Apache-2.0-Lizenz. Mit 4Bit-Quantisierung ben\u00f6tigt es mit Llama.cpp 6,87 GB VRAM (mit der Quantisierungsmethode \u00bbQ4_K_M\u00ab<\/a>).<\/p>\n Mit der Python-Bibliothek llama-cpp-python<\/a> kann man hiermit einen OpenAI-API<\/a>-kompatiblen Model-Server auf einer \u00e4lteren Gaming-GPU (z.B. NVIDIA RTX 2080 Ti mit 11 GB VRAM) starten oder sogar auf der Notebook-GPU, falls man nur Teile des Modells auf die GPU l\u00e4dt. Sogar auf der CPU ist es mit diesem Setup noch einigerma\u00dfen benutzbar. (Allerdings ist diese Server-Software unserer Einsch\u00e4tzung nach nicht f\u00fcr den Produktivbetrieb geeignet.) Als vergleichbares deutschsprachiges Open-Source Large Language Model k\u00f6nnte LeoLM Chat<\/a> zum Einsatz kommen, das auch mit der o.g. Quantisierung betrieben werden kann und die gleichen Hardwareanforderungen besitzt (beide Modelle basieren auf Mistral 7B). Ein interessantes LLM f\u00fcr den Einstieg ist auch das sehr aktuelle Phi-2<\/a> von Microsoft, das mit nur 2,7 Milliarden Parametern deutlich kleiner ist als das Mistral 7B Modell, aber als sehr leistungsf\u00e4hig gilt. Noch kleiner, aber vielleicht f\u00fcr allererste Experimente auch spannend: das ganz frische TinyLlama-1.1B-Chat<\/a>.<\/p>\n Noch eine Anmerkung zu Open Source Large Language Models und Deutsch: In der Regel sind Large Language Models bereits ohne spezielles Finetuning multilingual. Das Verst\u00e4ndnis deutscher Texte funktioniert unserer Erfahrung nach gut, allerdings kann es vorkommen, dass deutschsprachige Anweisungen (instructions) nicht so gut befolgt werden wie englischsprachige. Auch beim Generieren deutschsprachiger Antworten kommen unserer Erfahrung nach zumindest kleinere LLMs an ihre Grenzen. Gr\u00f6\u00dfere, sehr aktuelle Open Source Large Language Models wie Mixtral-8x7B Instruct<\/a> scheinen damit aber gut zurecht zu kommen. Dennoch kann es sich lohnen, z.B. die oben genannten Open Source Large Language Models, die f\u00fcr Deutsch feinabgestimmt (fine-tuned) wurden, zu evaluieren.<\/p>\n F\u00fcr den Produktivbetrieb sollte man nicht auf eine GPU bzw. mehrere GPUs verzichten. Entscheidend ist hier vor allem der insgesamt zur Verf\u00fcgung stehende VRAM. Die Grafikkarten d\u00fcrfen aber auch nicht zu alt sein: M\u00f6chte man den optimierten Server vLLM mit der AWQ-Quantisierung nutzen, so m\u00fcssen die GPUs mindestens die CUDA Compute Capability<\/a> 7.5 unterst\u00fctzen. Mit vLLM k\u00f6nnen Modelle auch auf mehrere kleinere GPUs aufgeteilt werden, allerdings nicht beliebig: Die Anzahl der genutzten GPUs muss Teiler der Anzahl der Schichten sein (f\u00fcr 64 Schichten also 2, 4, 8, 16, 32 oder 64 GPUs). (Wir betreiben z.B. das au\u00dferordentlich leistungsf\u00e4hige Mixtral-8x7B-Instruct-v0.1 ohne Quantisierung auf 8 x 32GB NVIDIA V100-GPUs.) Der LLM-Server Text Generation Inference (TGI) von Huggingface<\/a> kann eine Alternative zu vLLM darstellen, falls die spezielle Lizenz<\/a> mit dem Einsatz kompatibel ist. TGI ist auch f\u00fcr den optimierten Produktivbetrieb geeignet und bietet neben AWQ auch andere Quantisierungsoptionen (bitsandbytes, eetq und GPTQ).<\/p>\n Insbesondere f\u00fcr den Produktivbetrieb gilt, dass man ein nicht zu kleines, aktuelles Large Language Model ausw\u00e4hlen sollte. Unserer Erfahrung nach sollte man quantisierten Modellen mit vielen Parametern den Vorzug gegen\u00fcber nicht-quantisierten Modellen mit weniger Parametern geben. Das bereits erw\u00e4hnte Mixtral-8x7B-Instruct genie\u00dft derzeit (Stand Januar 2024) einen ausgezeichneten Ruf, aber auch Derivate von Llama 2 70B halten wir f\u00fcr geeignet (gute Erfahrungen konnten wir mit dem deutschsprachigen LeoLM 70b Chat<\/a> sammeln). Ist man nicht auf eine Lizenz angewiesen, die eine kommerzielle Nutzung des Large Language Models erlaubt, so ist die Auswahl geeigneter LLMs noch deutlich gr\u00f6\u00dfer.<\/p>\n Je nach Use Case kann auch bei ausschlie\u00dflich interner Nutzung ein Hosting mit einer vLLM-Instanz an seine Grenzen sto\u00dfen. In diesem Fall muss \u00fcber Load-Balancing, Cluster usw. nachgedacht werden.<\/p>\n Benchmarks und die o.g. Rankings stellen einen guten Startpunkt dar. Es sei jedoch darauf hingewiesen, dass diese Rankings h\u00e4ufig nur wenige verschiedene Aufgabestellungen ber\u00fccksichtigen, und dass gute Benchmarkergebnisse auch t\u00e4uschen k\u00f6nnen, z.B. aufgrund von \u00bbTask Contamination\u00ab<\/a>. Unserer Ansicht nach ist es hilfreicher, verschiedene Modelle f\u00fcr den konkreten eigenen Use Case zu evaluieren. Unser Team Data Science <\/em><\/a>kann Ihrem Unternehmen dabei helfen.<\/p>\n Nicht zuletzt muss das LLM aber unter Ber\u00fccksichtigung der zur Verf\u00fcgung stehenden Hardware ausgew\u00e4hlt werden.<\/p>\n Ausgew\u00e4hlte Beispiele aus eigener Erfahrung:<\/p>\n Large Language Models Webinare<\/p>\n Das Team Data Science<\/a> bietet zum Thema LLM Webinare an, darunter sowohl kostenfreie als auch kostenpflichtige Optionen.<\/p>\n <\/p>\n Mehr zur Webinarreihe <\/p>\n Sie haben Interesse an einem Seminar f\u00fcr Ihr Unternehmen? <\/p>\n<\/div>\n Unser Team Data Science<\/a> kann Ihr Unternehmen \/ Ihre Institution unter anderem bei folgenden Themen unterst\u00fctzen:<\/p>\n Unser L\u00f6sungsangebot<\/a> als PDF zum Mitnehmen:<\/p>\n Ein Open Source Large Language Model (LLM, auf Deutsch: gro\u00dfes Sprachmodell) bietet zahlreiche Vorteile, und diese gro\u00dfen Sprachmodelle haben im Jahr 2023 einen weiten Sprung nach vorne gemacht: Sie sind sehr leistungsf\u00e4hig geworden und k\u00f6nnen mittlerweile mit moderaten Hardwareanforderungen betrieben…<\/p>\n","protected":false},"author":141,"featured_media":11383,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[177],"tags":[104,584,587,296,370],"coauthors":[592,214,229],"class_list":["post-11359","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-kuenstliche-intelligenz","tag-data-analytics","tag-generative-ai","tag-large-language-models-llm","tag-machine-learning","tag-open-source"],"yoast_head":"\nVorteile von Open Source LLMs<\/h3>\n
\n
Hilfreiche aktuelle Entwicklungen im Bereich \u00bbOpen Source Large Language Models\u00ab<\/h3>\n
\n
Ich will Open Source Large Language Models nutzen \u2013 wie fange ich an?<\/h2>\n
Modellauswahl \u2013 ein geeignetes LLM f\u00fcr den Einstieg finden<\/h3>\n
\n
Large Language Models und deutsche Sprache<\/h3>\n
Wie betreibe ich Open Source LLMs f\u00fcr mein Unternehmen?<\/h2>\n
Wie kann ich entscheiden, welches Open Source Large Language Model am besten f\u00fcr unseren Use Case geeignet ist?<\/h2>\n
\n
Wie kann ich mehr \u00fcber LLMs lernen?<\/h2>\n
\n\u00bbZuverl\u00e4ssiger Einsatz von Large Language Models (LLMs)\u00ab<\/strong><\/p>\n1: Open Source LLMs selbst betreiben<\/a><\/h3>\n
2: Retrieval Augmented Generation (RAG)<\/a><\/h3>\n
3: Prompting Essentials \u2013 LLMs effektiv nutzen<\/a><\/h3>\n
\nAuf Wunsch bieten wir individuell gestaltete Seminare (auf Deutsch und Englisch) f\u00fcr Ihr Unternehmen an, in denen die Schulungsinhalte gezielt auf Ihre Bed\u00fcrfnisse abgestimmt werden k\u00f6nnen.<\/p>\nWo erhalte ich Unterst\u00fctzung, um Open Source LLMs in unserem Unternehmen \/ in unserer Institution zu nutzen?<\/h2>\n
\n
\n