{"id":12131,"date":"2024-04-15T10:00:10","date_gmt":"2024-04-15T08:00:10","guid":{"rendered":"https:\/\/www.iese.fraunhofer.de\/blog\/?p=12131"},"modified":"2026-01-08T13:08:01","modified_gmt":"2026-01-08T12:08:01","slug":"spracherkennung-mit-llm-voice-bot","status":"publish","type":"post","link":"https:\/\/www.iese.fraunhofer.de\/blog\/spracherkennung-mit-llm-voice-bot\/","title":{"rendered":"Die Zukunft des Sprachassistenten: Datenhoheit durch Spracherkennung mit eigenem LLM Voice Bot"},"content":{"rendered":"

In einer Welt, in der Technologie immer weiter voranschreitet, sind sprachgesteuerte Assistenten zu einem nicht mehr wegzudenkenden Teil unseres Alltags geworden. Von IBM Watson<\/a> und Aleph Alpha Luminous<\/a> \u00fcber Apple Siri<\/a> und Amazon Alexa<\/a> bis hin zu Google Assistant<\/a> und Microsoft Cortana<\/a> sind diese intelligenten Helfer durch maschinelle Spracherkennung in der Lage, unsere Fragen zu beantworten, Aufgaben zu erledigen, Texte vorzulesen und sogar mit uns zu kommunizieren. Einige Nutzer sind jedoch abgeneigt, ihre pers\u00f6nlichen Daten an die Hersteller weiterzugeben. Allerdings ist es mithilfe von neuen, leistungsf\u00e4higen Sprachmodellen m\u00f6glich, mit geringem Aufwand eigene Voice Bots von hoher Qualit\u00e4t zu erstellen, zu individualisieren und nat\u00fcrlich selbst zu betreiben. Dadurch verlassen die Daten nie den Betrieb.<\/p>\n

Spracherkennung mit dem LLM Voice Bot<\/h2>\n

In diesem Blogbeitrag m\u00f6chten wir Ihnen den LLM Voice Bot vorstellen. LLM steht f\u00fcr \u00bbLarge Language Model\u00ab, und der Voice Bot ist ein Projekt des Fraunhofer IESE, das mehrere bestehende Open-Source-Modelle miteinander kombiniert, um ein eindrucksvolles Spracherlebnis zu erzeugen. Der Aufbau ist modular, sodass einzelne Modelle beliebig ausgetauscht werden k\u00f6nnen. Dadurch ist es m\u00f6glich, auch immer wieder neuere und bessere Modelle zu integrieren. Die folgende Architektur\u00fcbersicht gibt einen \u00dcberblick \u00fcber den Aufbau.<\/p>\n

\"Chatverlauf
Architektur\u00fcbersicht des LLM Voice Bots mit den REST-Schnittstellen, die f\u00fcr die Kommunikation zwischen den Modellen genutzt werden. Ein Nutzer ruft die Web-Demo im Web-Browser auf. Im Hintergrund werden dann Anfragen an die jeweiligen Modelle geschickt, die auf einem oder mehreren GPU-Servern gehostet sind. GPUs (Graphics Processing Units) sind Grafikkarten, die sich aufgrund ihrer Architektur f\u00fcr parallele Berechnungen eignen, welche eine Anwendung von KI-Modellen beg\u00fcnstigen.<\/figcaption><\/figure>\n

Modelle f\u00fcr Spracherkennung<\/h3>\n

Im Folgenden stellen wir die Modelle, die wir momentan einsetzen, beispielhaft vor. Die Modelle lassen sich in der Regel bereits mit g\u00fcnstiger Consumer-Hardware betreiben. Um die gr\u00f6\u00dften Versionen der Sprachmodelle zu hosten oder um besonders niedrige Latenzen zu erreichen, setzen wir auch spezialisierte Hardware ein, die speziell f\u00fcr KI-Anwendungen entwickelt wurde.<\/p>\n

    \n
  1. Spracherkennung mit OpenAI Whisper STT<\/a>: Der LLM Voice Bot verwendet das Whisper STT-Modell<\/a> von OpenAI, um gesprochene Sprache in Text umzuwandeln. Dieses Modell basiert auf modernster Spracherkennungstechnologie. Es erm\u00f6glicht dem Voice Bot, Ihre gesprochenen Befehle und Fragen pr\u00e4zise zu verstehen und in Text zu \u00fcbertragen.<\/li>\n
  2. Sprachverst\u00e4ndnis mit Meta Llama 2<\/a>: Ein weiteres entscheidendes Element des LLM Voice Bots ist das Llama 2-Sprachmodell<\/a>. Es wurde von Meta ver\u00f6ffentlicht. Dieses Modell wird eingesetzt, um den Texteingaben einen Sinn zu geben und die Absichten und Bedeutungen hinter den Fragen und Anfragen zu verstehen. Es erm\u00f6glicht dem Voice Bot, kontextbezogene und relevante Antworten in Form von Text zu generieren.<\/li>\n
  3. Nat\u00fcrliche Sprachausgabe mit Microsoft SpeechT5 TTS<\/a>: Um eine menschen\u00e4hnliche Sprachausgabe zu erreichen, nutzt der LLM Voice Bot das Microsoft SpeechT5 TTS-Modell<\/a>. Dieses Modell erm\u00f6glicht hochwertige Sprachsynthese, wodurch der Voice Bot in nat\u00fcrlicher und angenehmer Weise antworten kann.<\/li>\n<\/ol>\n

    Benutzerfreundliche Weboberfl\u00e4che f\u00fcr den LLM Voice Bot<\/h3>\n

    Um das interaktive Erlebnis mit dem LLM Voice Bot zu erm\u00f6glichen, haben wir eine benutzerfreundliche Weboberfl\u00e4che entwickelt. Diese Oberfl\u00e4che zeigt den Chatverlauf an und erm\u00f6glicht es dem Nutzer, Fehler in den Textfeldern zu korrigieren. So wird sichergestellt, dass der Voice Bot den Nutzer bestm\u00f6glich verstehen kann. Au\u00dferdem kann der Nutzer mit dem Modell chatten, ohne zu sprechen, wenn z.B. zu viele Umgebungsger\u00e4usche ein Gespr\u00e4ch verhindern. Die Antwort des Voice Bots kann der Nutzer beliebig wiederholen und in beliebiger Geschwindigkeit anh\u00f6ren.<\/p>\n

    \"Chatverlauf
    Beispielhafte Anwendung des LLM Voice Bots. Sobald Ihre Aufnahme der Anweisung abgeschlossen ist, wird sie an die Modelle geschickt und auf der Weboberfl\u00e4che textuell dargestellt. Danach wird die Antwort des Modells ebenfalls als Text dargestellt und vertont.<\/figcaption><\/figure>\n

    Vielf\u00e4ltige Anwendungsm\u00f6glichkeiten f\u00fcr Spracherkennung<\/h3>\n

    Die Einsatzm\u00f6glichkeiten f\u00fcr Voice Bots sind vielf\u00e4ltig und flexibel. Sie k\u00f6nnen als pers\u00f6nliche Assistenten dienen, die Ihnen bei der Organisation Ihres Tages helfen, Informationen liefern und sogar einfache Aufgaben erledigen. Deshalb haben Voice Bots das Potenzial, unser t\u00e4gliches Leben zu verbessern und uns effizienter zu machen.<\/p>\n

    Anwendungsfall Automatische \u00dcbersetzung mit Spracherkennung<\/h4>\n

    F\u00fcr neuere Sprachmodelle ist es eine einfache Aufgabe, Sprache sinngem\u00e4\u00df zu \u00fcbersetzen. Tats\u00e4chlich sind sogar alle drei der von uns verwendeten Modelle von sich aus in der Lage, nat\u00fcrliche Sprache zu \u00fcbersetzen. Am einfachsten ist es dabei, dem Sprachmodell direkt die Anweisung zu geben, als Dolmetscher zu agieren. Dabei muss der Voice Bot nicht einmal konfiguriert werden, um die Aufgabe zu erledigen.<\/p>\n

    Fazit: Sind Sprachassistenten die Zukunft?<\/h2>\n

    Der LLM Voice Bot ist ein spannendes Beispiel f\u00fcr die Zukunft der sprachgesteuerten Assistenten. Mit fortschrittlichen Modellen f\u00fcr Spracherkennung, Sprachverst\u00e4ndnis und Sprachausgabe bietet er ein eindrucksvolles und menschen\u00e4hnliches Spracherlebnis. Die vielf\u00e4ltigen Anwendungsm\u00f6glichkeiten machen ihn zu einem wertvollen Werkzeug in unserem technologiegetriebenen Alltag, ohne die Datensouver\u00e4nit\u00e4t der Nutzer zu beeintr\u00e4chtigen. Bleiben Sie also gespannt auf weitere Entwicklungen in diesem aufregenden Bereich! Wenn Sie sich f\u00fcr das Thema interessieren oder dar\u00fcber nachdenken, Voice Bots selbst einzusetzen, treten Sie gerne mit uns in Kontakt<\/a>.<\/p>\n

    \n

    Zum Weiterlesen:<\/h4>\n