GPT-3 schneller und besser: Das will Googles Sprachverarbeitungsmodell

Google. (Foto: ymgerman / Shutterstock)
Beim Trainieren künstlicher Intelligenzen kann es passieren, dass sie Fähigkeiten erlernen, die eigentlich gar nicht vorgesehen waren. Wird beispielsweise ein Sprachmodell mit Daten verschiedener Sprachen gefüttert, ist es möglich, dass es lernt, zu übersetzen, ohne dass ihm dieser Auftrag je erteilt wurde.
Der Nachteil des Erlernens ungeplanter Fähigkeiten besteht darin, dass mehr Rechenleistung benötigt wird, was wiederum dafür sorgt, dass die KI langsamer wird, bis sie Ergebnisse ausspuckt. Es ist also immer ein Kompromiss, die KI mit mehr Daten intelligenter zu machen, da sie so auch langsamer wird.
Forscher bei Google sind jetzt auf eine interessante Lösung gestoßen, um die Sprachmodelle zu beschleunigen und gleichzeitig eine hohe Leistung beizubehalten, wie aus einem Paper hervorgeht. Die Lösung von Google heißt Confident Adaptive Language Modeling, kurz Calm.
Calm funktioniert durch dynamisches Zuweisen von Ressourcen in Abhängigkeit von der Komplexität des einzelnen Teils der Aufgabe, wobei ein Algorithmus verwendet wird, um vorherzusagen, ob etwas alle oder nur einen Teil der Ressourcen benötigt. Wie das Ganze im Detail funktioniert, verrät der Forschungsbericht.
Die Forschung in diesem Bereich ist wichtig, da sie die Tür zur Erstellung komplexerer KI-Modelle öffnet, die auf wesentlich größeren Datensätzen trainiert werden, ohne dass sich die Geschwindigkeit verringert, während ein hohes Leistungsniveau beibehalten wird. Auch große Sprachmodelle wie ChatGPT können so noch mit deutlich mehr Daten trainiert werden.
„Insgesamt erfordert unser vollständiges adaptives Compute-Framework für Language Modeling minimale Änderungen am zugrunde liegenden Modell und ermöglicht Effizienzgewinne bei gleichzeitiger Erfüllung strenger Qualitätsgarantien für die Ausgabe“, versprechen die Forscher.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team