KI-Chatbots basieren auf sogenannten Large Language Models (LLM). Diese Modelle entwickeln sich in einem rasanten Tempo weiter, das sogar das der Entwicklung von Computerchips übersteigt.

Innerhalb von nur acht Monaten halbiert sich im Schnitt die benötigte Rechenleistung, um den gleichen Benchmark zu erreichen. Diese Effizienzsteigerung überschreitet sogar das Mooresche Gesetz, das besagt, dass sich die Anzahl der Transistoren auf einem Chip etwa alle 18 bis 24 Monate verdoppelt. Die Transistoren deuten auf die Rechenleistung eines Chips hin.

Die Leistungssteigerung bei KI-Modellen lässt sich vor allem auf Fortschritte in der Entwicklung der Algorithmen zurückführen, wie Tamay Besiroglu vom Massachusetts Institute of Technology (MIT) gegenüber New Scientist verrät.

Eine Alternative, um die Performance zu steigern, ist, LLM in der Größe hochzuskalieren. Bei diesem Ansatz wird allerdings mehr Rechenleistung benötigt. Derzeit ist diese Möglichkeit durch die globale Knappheit an KI-Chips begrenzt.

Um den Ursprung der Leistungssteigerung bei LLM zu ergründen, haben Forscher 231 dieser Modelle untersucht, die im Zeitraum von 2012 bis 2023 entwickelt wurden. Wie die Programmierer die Algorithmen genau verbessern, konnten sie allerdings nicht herausfinden, da der Code für viele der Modell nicht öffentlich zugänglich ist.

Sasha Luccioni von Hugging Face warnt abschließend, dass effizientere KI-Modelle dazu führen können, dass sie mehr genutzt werden. Es kann also sein, dass das insgesamt zu einem höheren Energieverbrauch durch KI beträgt.

Die komplette Studie wurde auf dem Preprint-Server von Arxiv veröffentlicht.