Anzeige
Anzeige
News

Mit diesem mathematischen Trick wird KI noch schneller trainiert

Da KI-Modelle immer größer werden, ist die Menge an Geld und Energie, die für ihre Weiterentwicklung erforderlich ist, zu einem brisanten Thema geworden. Ein neuer Ansatz könnte nun Abhilfe schaffen.

Von Hannah Klaiber
2 Min.
Artikel merken
Anzeige
Anzeige
Künstliche Intelligenz muss programmiert und trainiert werden. (Bild: maxuser / shutterstock)

Führende KI-Unternehmen stecken viele Ressourcen in das Training immer größerer neuronaler Netze. Dies kostet viel Geld, erfordert große Rechen-Ressourcen und verbraucht enorme Mengen an Energie. All das hat nicht nur Auswirkungen auf die Umwelt, sondern auch auf die Wettbewerbsfähigkeit kleinerer KI-Firmen, denen es schwerfällt, mit dieser Entwicklung Schritt zu halten. Dadurch konzentriert sich die Macht immer mehr in den Händen der Branchenführer.

KI: Rückwärtsdurchlauf fällt weg

Anzeige
Anzeige

Nun haben Forscher der Universität Oxford einen neuen Ansatz vorgestellt, der die Trainingszeiten von KI um die Hälfte verkürzen könnte. Dabei wird eines der grundlegendsten Bestandteile der auf neuronalen Netzen basierenden KI-Systeme umgeschrieben: die Backpropagation. Dieses auch Fehlerrückführung oder Rückpropagierung genanntes Verfahren ist weit verbreitetet – und für das Einlernen von künstlichen neuronalen Netzen zuständig. Es gehört zur Gruppe der überwachten Lernverfahren.

Wie ein neuronales Netz Daten verarbeitet, hängt von der Stärke der Verbindungen zwischen den verschiedenen Neuronen ab. Damit diese nützliche Arbeit leisten können, müssen die Verbindungen angepasst werden, bis sie die Daten so verarbeiten wie erwünscht. Dazu trainiert man das Netz anhand von Daten, die für das Problem relevant sind, in zwei Phasen: In der Vorwärtsphase werden Daten durch das Netz geleitet, damit dieses Vorhersagen treffen kann. Im Rückwärtsdurchlauf werden dann Messungen der Genauigkeit dieser Vorhersagen verwendet, um das Netz erneut zu durchlaufen und herauszufinden, wie die Verbindungen angepasst werden sollten, um die Leistung zu verbessern. Durch mehrfache Wiederholung dieses Prozesses mit vielen Daten arbeitet das Netz allmählich auf eine optimale Konfiguration von Verbindungen hin, die das jeweilige Problem löst.

Anzeige
Anzeige

Einfacher mathematischer Trick hilft

Dieser sich wiederholende Prozess ist der Grund, warum es so lange dauert, eine künstliche Intelligenz zu trainieren – aber die Forscher in Oxford haben womöglich einen Weg gefunden, die Dinge zu vereinfachen. In einem Pre-Print, der auf dem Dokumentenserver arXiv veröffentlicht wurde, beschreiben sie einen neuen Trainingsansatz, bei dem der Rückwärtsdurchlauf komplett entfällt und dieser fehlende Schritt mithilfe eines Algorithmus aufgefangen wird. Die Forscher haben gezeigt, dass mit diesem Ansatz eine Vielzahl verschiedener Algorithmen für das maschinelle Lernen trainiert – und die Trainingszeit um die Hälfte reduziert werden kann.

Anzeige
Anzeige

Es handele sich um einen einfachen mathematischen Trick, erklärte Andrew Corbett von der University of Exeter in Großbritannien gegenüber der Wissenschafts-Fachzeitschrift New Scientist. Dieser könnte dazu beitragen, eine der drängendsten Herausforderungen zu bewältigen, vor denen KI heute steht. „Die Lösung dieses Problems ist sehr, sehr wichtig, denn es ist der Engpass der Algorithmen für maschinelles Lernen“, sagte er.

Es bleibt jedoch abzuwarten, inwieweit der Ansatz allgemein anwendbar ist. In ihrem Papier weisen die Forscher auch darauf hin, dass der Unterschied in den Laufzeitkosten mit zunehmender Anzahl der Schichten in einem neuronalen Netz schrumpft, was darauf hindeutet, dass die Technik bei größeren Modellen nicht mehr so wirksam sein könnte.

Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare

Community-Richtlinien

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige