Bisher wurden Sprachmodelle vorrangig dazu genutzt, um Chatbots zu bauen – Metas Llama-Modell ist beispielsweise die Grundlage für die Alpaca AI. Ein Entwickler hat aus Llama einen Voicechat gemacht. Auf Twitter erklärt er, wie er das geschafft hat.

Der Llama-Voicechat des bulgarischen Entwicklers Georgi Gerganov kann mithilfe eines M1-Pro-Chips von Apple lokal laufen. Um das Machine-Learning-Modell ausführen zu können, nutzt er Apples Core-ML-Framework. Die Speech-to-Text-Komponente, also die Transkription der gesprochenen Sprache in eine Texteingabe, läuft über Whisper von OpenAI. Um Whisper effizienter auf der CPU auszuführen, nutzt Gerganov die Tensorbibliothek GGML.

Das Modell für die Spracherkennung und ‑verarbeitung, im Tweet als LLM (Large Language Model) zu finden, ist das 13-Billion-Llama-Modell. Das bedeutet, dass das genutzte Llama-Modell aus rund 13 Milliarden Parametern besteht. Das Text-to-Speech-Tool, das die Chat-Antworten von Llama vorliest, ist von Eleven Labs.

Der Whisper-Encoder laufe auf der Apple Neural Engine. Der Rest werde über ARM Neon und Apple Accelerate optimiert. Den Code hat Gerganov auf GitHub zur Verfügung gestellt.

Gerganov schreibt, dass der Voicechat über 100 Sprachen beherrsche. Whisper würde automatisch übersetzen: Ist die Eingabe auf Französisch, könne Whisper das automatisch übersetzen und auf Englisch bei Llama eingeben.

Die Frage ist, ob Whisper auch die Antworten vor der Sprachausgabe übersetzt oder ob die Antworten dann auf Englisch ausgegeben werden.

Neben dem Text-to-Speech-Tool von Eleven Labs hat Gerganov auch den „Say“-Befehl von Mac OS getestet, um die Antworten vorzulesen.

In einem weiteren Versuch nutzt er das lokale „Espeak“-Tool für die Sprachausgabe.