Anzeige
Anzeige
Fundstück
Artikel merken

Entwickler macht aus dem Llama-Chatbot einen Voicechat

KI-Chatbots können Standardunterhaltungen schon gut nachbilden – allerdings nur schriftlich. Nun hat ein Entwickler aus Llama einen Voicechat gemacht.

1 Min. Lesezeit
Anzeige
Anzeige
Mit Llama kann man mit diesem Modell nicht nur chatten, sondern demnächst auch sprechen. (Foto: Tsyhun/Shutterstock)


Bisher wurden Sprachmodelle vorrangig dazu genutzt, um Chatbots zu bauen – Metas Llama-Modell ist beispielsweise die Grundlage für die Alpaca AI. Ein Entwickler hat aus Llama einen Voicechat gemacht. Auf Twitter erklärt er, wie er das geschafft hat.

Mit Transkriptionstool und Apple-Prozessor

Der Llama-Voicechat des bulgarischen Entwicklers Georgi Gerganov kann mithilfe eines M1-Pro-Chips von Apple lokal laufen. Um das Machine-Learning-Modell ausführen zu können, nutzt er Apples Core-ML-Framework. Die Speech-to-Text-Komponente, also die Transkription der gesprochenen Sprache in eine Texteingabe, läuft über Whisper von OpenAI. Um Whisper effizienter auf der CPU auszuführen, nutzt Gerganov die Tensorbibliothek GGML.

Anzeige
Anzeige

Das Modell für die Spracherkennung und ‑verarbeitung, im Tweet als LLM (Large Language Model) zu finden, ist das 13-Billion-Llama-Modell. Das bedeutet, dass das genutzte Llama-Modell aus rund 13 Milliarden Parametern besteht. Das Text-to-Speech-Tool, das die Chat-Antworten von Llama vorliest, ist von Eleven Labs.

Der Whisper-Encoder laufe auf der Apple Neural Engine. Der Rest werde über ARM Neon und Apple Accelerate optimiert. Den Code hat Gerganov auf GitHub zur Verfügung gestellt.

Anzeige
Anzeige

Llama-Voicechat spricht über 100 Sprachen

Gerganov schreibt, dass der Voicechat über 100 Sprachen beherrsche. Whisper würde automatisch übersetzen: Ist die Eingabe auf Französisch, könne Whisper das automatisch übersetzen und auf Englisch bei Llama eingeben.

Die Frage ist, ob Whisper auch die Antworten vor der Sprachausgabe übersetzt oder ob die Antworten dann auf Englisch ausgegeben werden.

Anzeige
Anzeige

Neben dem Text-to-Speech-Tool von Eleven Labs hat Gerganov auch den „Say“-Befehl von Mac OS getestet, um die Antworten vorzulesen.

In einem weiteren Versuch nutzt er das lokale „Espeak“-Tool für die Sprachausgabe.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige