OpenAI-Mitgründer sieht nach Llama-3-Launch riesiges Aufholpotenzial bei KI-Konkurrenz
Llama 3 ist da – und die KI-Branche staunt. (Foto: Ascannio/Shutterstock)
Meta hat in der vergangenen Woche mit Llama 3 eine neue Version seines Sprachmodells vorgestellt. Dessen Leistungsfähigkeit soll die der KI-Konkurrenz zum Teil deutlich übertreffen. Das soll auch an der Vielzahl der verwendeten Trainingsdaten liegen.
Llama 3 wurde mit riesiger Menge an Daten trainiert
Der Facebook-Mutterkonzern hat eigenen Angaben zufolge sein Acht-Milliarden-Parameter-Modell mit rund 15 Billionen Token trainiert. Ein Umstand, der die Branche staunen lässt. Denn damit wird nicht nur die Datenmenge deutlich übertroffen, mit der Llama 2 trainiert wurde, sondern auch jene, die nach den „Gesetzen“ der Branche bisher gilt.
Wie The Decoder berichtet, besagen die von Deepmind entwickelten Chinchilla-Skalierungsgesetze, dass für ein Acht-Milliarden-Modell rund 200 Milliarden Token optimal wären. Damit würde die Rechenleistung möglichst effizient genutzt. Zur Einordnung: Meta hat diesen Wert um das 75-Fache übertroffen.
Branchengesetze zeigen optimale, aber nicht maximale Leistung
KI-Experte und OpenAI-Mitgründer Andrej Karpathy kommt in diesem Zusammenhang zu dem Schluss, dass die Chinchilla-Gesetze zwar die optimale Recheneffizienz bestimmen könnten. Sie würden aber nichts darüber aussagen, wie stark ein KI-Modell trainiert werden kann, bis die maximale Leistung erreicht sei.
Meta zufolge sei die Llama-3-Leistung auch nach dem Training mit bis zu 15 Billionen Token weiter „log-linear“ angestiegen. Das deutet laut Karpathy darauf hin, dass die meisten derzeit verwendeten Sprachmodelle um den Faktor 100 bis 1.000 untertrainiert seien – und damit auch noch nicht ihr volles Potenzial erreicht hätten.
Potenzial von KI-Sprachmodellen noch nicht ausgereizt
Wie weit die Leistung von KI-Sprachmodellen durch die Verwendung von immer mehr Trainingsdaten gesteigert werden kann, ist unklar. Meta hat mit Llama 3 aber gezeigt, dass das Potenzial bisher noch lange nicht ausgereizt ist.
Allerdings ist die schiere Masse an Trainingsdaten nicht alles, was ein wirklich leistungsfähiges System ausmacht. Meta etwa hat für das Fine-Tuning zusätzlich noch zehn Millionen qualitativ hochwertige Beispiele verwendet. Diese Methode kann auch die Leistung kleinerer Sprachmodelle weiter erhöhen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team