Große KI-Modelle zu trainieren, erfordert einen riesigen Rechenaufwand. Schätzungen zufolge hat schon das Training von GPT-3.5, dem ursprünglich für ChatGPT verwendeten Sprachmodell, mehrere Wochen gedauert und insgesamt rund zwölf Millionen US-Dollar gekostet. Training und Betrieb von KI-Modellen laufen daher über spezielle KI-Beschleuinigerchips – meist von Nvidia. Nur wer solche Beschleuniger hat, kann im weltweiten KI-Wettlauf überhaupt mitspielen.

Ein internationales Forschungsteam hat jetzt erstmals analysiert, wie öffentlich verfügbare KI-Rechenkapazitäten weltweit verteilt sind. Die technischen Details und Ergebnisse ihrer Arbeit haben sie jetzt in einem Preprint-Paper zusammengefasst.

Das ist nicht nur spannend, um zu sehen, welche Länder im Rennen um die Vorherrschaft in Sachen Künstlicher Intelligenz die Nase vorn haben (in dieser Hinsicht sind die Ergebnisse der Untersuchung wenig überraschend: die USA und China). Die Verteilung der KI-Rechenkapazität hat großen Einfluss auf die Regulierung von KI-Modellen. Denn nur, wenn sich die tatsächliche Infrastruktur, auf der die KI läuft oder auf der die KI trainiert wird, auf dem jeweiligen Territorium befindet, können die Staaten die Einhaltung ihrer gesetzlichen Vorgaben auch durchsetzen. Dies habe, schreiben die Forscher:innen „Auswirkungen darauf, welche Länder die KI-Entwicklung gestalten, sowie auf die Normen für gute, sichere und nützliche KI“.

Die Untersuchung umfasst nur die Regionen, in denen es KI-Rechenzentren gibt, die öffentlich verfügbar sind. In solchen „Public Clouds“ werden die meisten relevanten KI-Modelle trainiert und betrieben. „Die Anzahl der Grafikprozessoren und insbesondere die Art und Weise, wie sie auf die Regionen der [Cloud-]Anbieter verteilt sind“, heißt es in dem Bericht, „werden als streng vertrauliche Informationen behandelt.“ Trotz der Einschränkungen des Berichts, so argumentieren die Autoren, ist die Untersuchung die aktuellste öffentliche Schätzung darüber, wo auf der Welt sich die fortschrittlichsten KI-Chips befinden.

Trotz der vermutbaren KI-Vorherrschaft von USA und China offenbart der Bericht spannende Details: So verfügt China über mehr Regionen (27), in denen es öffentlich verfügbare KI-Datenzentren gibt, als die USA (22). Allerdings sind erwartungsgemäß in den USA die meisten Regionen mit KI-Datenzentren ausgestattet mit den fortschrittlichsten Chip-Generation von Nvidia, den H100-Beschleunigern (8). Außerhalb der USA gibt es nur ein Land, die Niederlande, in dem diese Beschleuniger in Rechenzentren verbaut sind. In China gibt es wegen US-Exportbeschränkungen keine H100 in Betrieb. Zumindest nicht offiziell – Expert:innen gehen von einem florierenden Schwarzmarkt aus.

Insgesamt zeigen die Zahlen, dass die Welt in drei Bereiche zerfällt, den „Compute North“, wo sich die fortschrittlichsten Chips befinden, den „Compute South“, wo es einige ältere Chips gibt, die vor allem für den Betrieb, aber nicht für das Training von KI-Systemen verwendet werden (vor allem in Lateinamerika). Nur, dass Norden und Süden jetzt nicht mehr rein geografisch zu verstehen sind (China gehört zum Compute North). Und zu guter Letzt gibt es noch die „Compute Deserts“.

Eine eigene KI-Infrastruktur aufzubauen, ist eine teure Sache. Für Entwickler:innen außerhalb der USA und Chinas muss es daher einen echten Anreiz geben, ihre Modelle nicht dort zu trainieren, wo schon die größten Rechenkapazitäten vorhanden sind. Ein solcher Anreiz könnte beispielsweise der Wunsch sein, mehr Einfluss auf die Regulierung, die Werte und die Ausrichtung eines solchen Modells zu nehmen. Nicht zufällig mehren sich Stimmen, die eine eigene, europäische KI fordern.