Beim Trainieren künstlicher Intelligenzen kann es passieren, dass sie Fähigkeiten erlernen, die eigentlich gar nicht vorgesehen waren. Wird beispielsweise ein Sprachmodell mit Daten verschiedener Sprachen gefüttert, ist es möglich, dass es lernt, zu übersetzen, ohne dass ihm dieser Auftrag je erteilt wurde.

Der Nachteil des Erlernens ungeplanter Fähigkeiten besteht darin, dass mehr Rechenleistung benötigt wird, was wiederum dafür sorgt, dass die KI langsamer wird, bis sie Ergebnisse ausspuckt. Es ist also immer ein Kompromiss, die KI mit mehr Daten intelligenter zu machen, da sie so auch langsamer wird.

Forscher bei Google sind jetzt auf eine interessante Lösung gestoßen, um die Sprachmodelle zu beschleunigen und gleichzeitig eine hohe Leistung beizubehalten, wie aus einem Paper hervorgeht. Die Lösung von Google heißt Confident Adaptive Language Modeling, kurz Calm.

Calm funktioniert durch dynamisches Zuweisen von Ressourcen in Abhängigkeit von der Komplexität des einzelnen Teils der Aufgabe, wobei ein Algorithmus verwendet wird, um vorherzusagen, ob etwas alle oder nur einen Teil der Ressourcen benötigt. Wie das Ganze im Detail funktioniert, verrät der Forschungsbericht.

Die Forschung in diesem Bereich ist wichtig, da sie die Tür zur Erstellung komplexerer KI-Modelle öffnet, die auf wesentlich größeren Datensätzen trainiert werden, ohne dass sich die Geschwindigkeit verringert, während ein hohes Leistungsniveau beibehalten wird. Auch große Sprachmodelle wie ChatGPT können so noch mit deutlich mehr Daten trainiert werden.

„Insgesamt erfordert unser vollständiges adaptives Compute-Framework für Language Modeling minimale Änderungen am zugrunde liegenden Modell und ermöglicht Effizienzgewinne bei gleichzeitiger Erfüllung strenger Qualitätsgarantien für die Ausgabe“, versprechen die Forscher.