{"id":11902,"date":"2024-03-19T14:44:53","date_gmt":"2024-03-19T13:44:53","guid":{"rendered":"https:\/\/www.iese.fraunhofer.de\/blog\/?p=11902"},"modified":"2024-12-18T11:29:04","modified_gmt":"2024-12-18T10:29:04","slug":"large-action-models-multi-agents","status":"publish","type":"post","link":"https:\/\/www.iese.fraunhofer.de\/blog\/large-action-models-multi-agents\/","title":{"rendered":"Large action models (LAMs), tool learning, function calling and Agents"},"content":{"rendered":"

Zu Beginn des Jahres 2024 wurde der Begriff „Large Action Model“ (LAM) mit dem Release von Rabbit R1 in der \u00d6ffentlichkeit bekannt. Parallel dazu haben sich Large Language Models (LLM) und multimodale Modelle als n\u00fctzlich erwiesen, um Roboter besser zu kontrollieren. Inzwischen k\u00f6nnen Anwendungen wie ChaGPT spezifische Werkzeuge (wie z.B. eine Websuche) aufrufen. Zuletzt wird oft von agentenbasierten Systemen (auch Multi-Agenten-Systeme genannt) gesprochen. In diesem Blogbeitrag geben unsere Experten einen \u00dcberblick und einige Tipps, wie man durch den Hype navigiert und die Realit\u00e4t hinter den Marketingtricks erkennt.<\/p>\n

Was ist ein Large Action Model?<\/h2>\n

Der Begriff \u00bbLarge Action Model\u00ab (LAM) lehnt sich an den Begriff \u00bbLarge Language Model\u00ab (LLM) an, geht aber noch einen Schritt weiter. Sprachmodelle (wie z.B. GPT4) nehmen nat\u00fcrlichsprachliche Anweisungen als Eingabe und erzeugen auf der Basis von Wahrscheinlichkeiten eine textuelle Ausgabe. Sie werden zunehmend in Assistenzsystemen in Form von Chatbots eingesetzt. LAMs k\u00f6nnen dies auch, gehen aber einen Schritt weiter, indem sie Aktionen (\u00bbactions\u00ab) ableiten und ausf\u00fchren. In der Wissenschaft ist der Begriff LAM allerdings nicht sehr verbreitet. H\u00e4ufiger wird von „tool learning“ oder „function calling“ gesprochen.<\/p>\n

\n

Was sind Large Language Models? Und was ist bei der Nutzung von KI-Sprachmodellen zu beachten?<\/a><\/strong> Diesen Fragen geht ein anderer Blogbeitrag<\/a> nach. Neben grundlegenden Informationen zu Large Language Models werden auch Kriterien und Tipps f\u00fcr die Auswahl eines Large Language Models genannt. Nicht zuletzt werden die Grenzen von LLMs thematisiert.<\/p>\n<\/div>\n

Tool learning – Function calling: Quo Vadis?<\/h2>\n

Wie kann ein Sprachmodell in ein Modell umgewandelt werden, das eine Funktion aufrufen kann? Hier kommen die Methoden des so genannten Tool Learning zum Einsatz. Zun\u00e4chst muss das Modell eine Vorstellung davon haben, welche Werkzeuge zur Verf\u00fcgung stehen und was damit gemacht werden kann. Dann muss das Modell einen Plan erstellen. Wenn die M\u00f6glichkeit besteht, diese Werkzeuge aufzurufen und zu \u00fcberpr\u00fcfen, was tats\u00e4chlich passiert ist, sollte das Modell in der Lage sein, Pl\u00e4ne zu \u00e4ndern.<\/p>\n

Diese Aufgaben k\u00f6nnen anhand von Beispielen an einem Modell entweder direkt in Prompt (sog. Kontextlernen) oder durch Feintuning vermittelt werden (Wang 2024, Zhang 2024).<\/p>\n

Die Ergebnisse sind schon sichtbar. ChatGPT kann im Internet suchen. Mistral erm\u00f6glicht Funktionsaufrufe<\/a>. Last but not least hat Anthropic k\u00fcrzlich „AI Computer Use<\/a>“ ver\u00f6ffentlicht, wo es um die automatische Steuerung von Computern geht.<\/p>\n

Was sind Agenten?<\/h2>\n

In der KI-Forschung werden Agenten als autonome intelligente Entit\u00e4ten bezeichnet. Im Wesentlichen k\u00f6nnen Agenten ihre Umgebung wahrnehmen, Aktionen in dieser Umgebung ausf\u00fchren und \u00fcberlegen, welche Aktionen notwendig sind, um ihre Ziele zu verfolgen. Es gibt verschiedene Arten von Agenten und Agentenarchitekturen. Man spricht von reaktiven Agenten, wenn Agenten festen Regeln folgen, und von kognitiven Agenten, wenn komplexere Entscheidungsalgorithmen den Agenten steuern.<\/p>\n

Ein Multiagentensystem (MAS) ist ein System, in dem mehrere Agenten miteinander interagieren. Eine Merkhilfe sind die Vokale AEIOU (Demazeau 2003). Ein MAS besteht (mindestens) aus Agenten („A“), einer Umgebung (environment: „E“), Interaktionen („I“), Organisationsstrategien oder Organisationsartefakten (wie Gruppen, Normen) („O“), und oft Benutzern (users „U“).<\/p>\n

Multiagentensysteme werden seit den 90er Jahren erforscht (Woolridge 2009), aber mit der Explosion von LLM werden Multiagentensysteme von der GenAI-Community wiederentdeckt. Gen-AI-basierte MAS sind Multiagentensysteme, in denen der Agent eine gro\u00dfe Sprache oder multimodale Modelle verwenden kann. Hier spielt nat\u00fcrlich die F\u00e4higkeit zum Funktionsaufruf eine gro\u00dfe Rolle, so dass die Agenten Eingaben (wie Text, Bilder, etc.) verstehen, Pl\u00e4ne erstellen und Aktionen ausf\u00fchren k\u00f6nnen.<\/p>\n

Wie werden LAMs und Agenten benutzt?<\/h2>\n

Die Motivation hinter LAMs und Agenten ist die Automatisierung von (oftmals langwierigen) Aufgaben. Beispiele sind die Bedienung von Softwareanwendungen, APIs oder die Steuerung von Robotern. Als Menschen interagieren wir t\u00e4glich mit (nicht immer benutzerfreundlichen) graphischen Benutzeroberfl\u00e4chen (GUIs). Diese Interaktion kann von einem Agenten imitiert werden, entweder weil er f\u00fcr solche Aufgaben vorprogrammiert ist, oder indem dem Modell einmal gezeigt wird (sogenanntes \u00bbone-shot learning\u00ab) und es dies bei sp\u00e4teren Anfragen selbstst\u00e4ndig ausf\u00fchrt.<\/p>\n

Bei komplexeren Prozessen k\u00f6nnen mehrere Agenten beteiligt sein. Plattformen wie MetaGPT<\/a>, OpenHands<\/a>, GPTPilot<\/a> verwenden bereits Multiagentensysteme, um das Software Engineering zu automatisieren.<\/p>\n

\n

Mehr zum Thema Software Engineering und LLMs:<\/p>\n

 <\/p>\n