Audiopalm: Google fusioniert KI-Modelle und übersetzt Texte mit Originalstimme

Google verschmilzt KI-Modelle. (Foto: Shutterstock / JRdes)
Google hat kürzlich zwei KI-Modelle zu einem einzigen Modell verschmolzen, um Übersetzungen mit Originalstimmen zu ermöglichen. Dabei handelt es sich um das audiobasierte Sprachmodell AudioLM und das textbasierte Sprachmodell Palm-2.
Das Ergebnis dieser Fusion ist Audiopalm, ein neues Modell, das nicht nur Texte schreiben und übersetzen, sondern sie auch in einer gewünschten Stimme wiedergeben kann, schreibt Google in einem Beitrag.
Mit Audiopalm möchte Google das Beste aus beiden Welten zusammenbringen. Das Modell AudioLM besitzt die Fähigkeit, paralinguistische Informationen wie die Sprecheridentität und Intonation zu bewahren.
Dazu greift das Hybrid-Modell auf das sprachliche Wissen des textbasierten Sprachmodells Palm-2 zurück. Durch diese Verschmelzung strebt Google an, die Sprachverarbeitung erheblich zu verbessern.
Google behauptet, dass Audiopalm in Übersetzungsaufgaben besser abschneidet als bestehende Systeme. Darüber hinaus kann das Modell auch Sprach-und-Text-Kombinationen erzeugen, die in den Trainingsdaten nicht vorhanden sind.
Die Google-Forscher haben außerdem gezeigt, dass das Modell verschiedene Sätze in mehrere Sprachen übersetzen kann und dabei die Tonart und Stimme der ursprünglichen Audioaufnahme beibehält.
Die Entwicklung von Audiopalm ist ein bedeutender Schritt in der KI-Übersetzungstechnologie. Die Fähigkeit, Texte mit originalgetreuen Stimmen wiederzugeben, eröffnet neue Möglichkeiten in Bereichen wie Voiceover-Technik oder der Unterhaltungsindustrie.
Es bleibt abzuwarten, wie Audiopalm in der Praxis eingesetzt und welche Auswirkungen es auf die Sprachtechnologie haben wird. Vor allem aber wird sich zeigen, wann die Technik bereit für die Massen ist.
In dem Beitrag hat Google einige Audioschnipsel von Übersetzungen und ein längeres Video eingefügt, in dem Audiopalm einen englischen Text in mehrere Sprachen übersetzt.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team