Führende KI-Unternehmen stecken viele Ressourcen in das Training immer größerer neuronaler Netze. Dies kostet viel Geld, erfordert große Rechen-Ressourcen und verbraucht enorme Mengen an Energie. All das hat nicht nur Auswirkungen auf die Umwelt, sondern auch auf die Wettbewerbsfähigkeit kleinerer KI-Firmen, denen es schwerfällt, mit dieser Entwicklung Schritt zu halten. Dadurch konzentriert sich die Macht immer mehr in den Händen der Branchenführer.

Nun haben Forscher der Universität Oxford einen neuen Ansatz vorgestellt, der die Trainingszeiten von KI um die Hälfte verkürzen könnte. Dabei wird eines der grundlegendsten Bestandteile der auf neuronalen Netzen basierenden KI-Systeme umgeschrieben: die Backpropagation. Dieses auch Fehlerrückführung oder Rückpropagierung genanntes Verfahren ist weit verbreitetet – und für das Einlernen von künstlichen neuronalen Netzen zuständig. Es gehört zur Gruppe der überwachten Lernverfahren.

Wie ein neuronales Netz Daten verarbeitet, hängt von der Stärke der Verbindungen zwischen den verschiedenen Neuronen ab. Damit diese nützliche Arbeit leisten können, müssen die Verbindungen angepasst werden, bis sie die Daten so verarbeiten wie erwünscht. Dazu trainiert man das Netz anhand von Daten, die für das Problem relevant sind, in zwei Phasen: In der Vorwärtsphase werden Daten durch das Netz geleitet, damit dieses Vorhersagen treffen kann. Im Rückwärtsdurchlauf werden dann Messungen der Genauigkeit dieser Vorhersagen verwendet, um das Netz erneut zu durchlaufen und herauszufinden, wie die Verbindungen angepasst werden sollten, um die Leistung zu verbessern. Durch mehrfache Wiederholung dieses Prozesses mit vielen Daten arbeitet das Netz allmählich auf eine optimale Konfiguration von Verbindungen hin, die das jeweilige Problem löst.

Dieser sich wiederholende Prozess ist der Grund, warum es so lange dauert, eine künstliche Intelligenz zu trainieren – aber die Forscher in Oxford haben womöglich einen Weg gefunden, die Dinge zu vereinfachen. In einem Pre-Print, der auf dem Dokumentenserver arXiv veröffentlicht wurde, beschreiben sie einen neuen Trainingsansatz, bei dem der Rückwärtsdurchlauf komplett entfällt und dieser fehlende Schritt mithilfe eines Algorithmus aufgefangen wird. Die Forscher haben gezeigt, dass mit diesem Ansatz eine Vielzahl verschiedener Algorithmen für das maschinelle Lernen trainiert – und die Trainingszeit um die Hälfte reduziert werden kann.

Es handele sich um einen einfachen mathematischen Trick, erklärte Andrew Corbett von der University of Exeter in Großbritannien gegenüber der Wissenschafts-Fachzeitschrift New Scientist. Dieser könnte dazu beitragen, eine der drängendsten Herausforderungen zu bewältigen, vor denen KI heute steht. „Die Lösung dieses Problems ist sehr, sehr wichtig, denn es ist der Engpass der Algorithmen für maschinelles Lernen“, sagte er.

Es bleibt jedoch abzuwarten, inwieweit der Ansatz allgemein anwendbar ist. In ihrem Papier weisen die Forscher auch darauf hin, dass der Unterschied in den Laufzeitkosten mit zunehmender Anzahl der Schichten in einem neuronalen Netz schrumpft, was darauf hindeutet, dass die Technik bei größeren Modellen nicht mehr so wirksam sein könnte.