Was haben Llama von Meta, Gemini von Google, Claude von Anthropic und GPT von OpenAI gemeinsam? Abgesehen davon, dass es sich bei ihnen um die derzeit wohl bekanntesten großen Sprachmodelle (LLM) handelt, wurden sie allesamt von US-amerikanischen Firmen entwickelt. Wenn man die Berichterstattung über Sprachmodelle und generative künstliche Intelligenz in den vergangenen beiden Jahren verfolgt, könnte man den Anschein erhalten, dass die Entwicklung fast ausschließlich in den USA und vielleicht noch bei einigen anderen westlichen Startups wie Mistral aus Frankreich oder Aleph Alpha aus Deutschland stattfindet.

Ein anderes Bild zeichnet das jüngste „LLM Leaderboard“ des KI-Unternehmens Hugging Face, das große Sprachmodelle anhand verschiedener Benchmarks in Kategorien wie logisches Denken und Sprachverständnis untersucht. In dessen Top 10 befinden sich gleich fünf Modelle von zwei Firmen, die nicht aus den USA kommen, sondern aus China: Qwen, entwickelt von Alibaba Cloud, einem Tochterunternehmen des chinesischen Alibaba-Konzerns. Und Yi, entwickelt vom chinesischen Startup 01.AI, das erst im vergangenen Jahr vom chinesischen KI-Pionier und Ex-Google-Mitarbeiter Kai-Fu Lee gegründet wurde.

Auch in der LMSYS Chatbot Arena, einem Projekt der Universität Berkeley, das die Performance von Sprachmodellen „auf der Grundlage menschlicher Präferenzen“ bewertet, sind Qwen und Yi, sowie das von Zhipu AI entwickelte ChatGLM aktuell in den Top 30 zu finden. Das ist schon allein deshalb überraschend, weil sie im Vergleich zu den anderen Modellen nicht allein auf die englische Sprache hin trainiert und optimiert wurden. Erst vor wenigen Wochen machte außerdem die chinesische Tech-Firma Kuaishou mit einer Text-Zu-Video-KI namens Kling auf sich aufmerksam.

All das zeigt, dass die Entwicklung von Sprachmodellen an China nicht vorbei gegangen ist. Im Gegenteil: Spätestens als die chinesische Regierung im vergangenen August Firmen erlaubt hatte, Technologien wie KI-Chatbots der Öffentlichkeit anzubieten, hat die Forschung noch einmal einen Aufschwung erfahren, der inzwischen sogar den inoffiziellen Titel „Hundred Model War“ trägt – in Anlehnung an historische Kampagnen und die Tatsache, dass es in China inzwischen mehr als 100 große Sprachmodelle mit mehr als einer Milliarde Token gibt. Manche davon lassen sich mit einigen Tricks auch außerhalb Chinas ausprobieren.

Die Entwicklung eigener Modelle ist für China eine Notwendigkeit, weil viele westliche KI-Modelle nicht verfügbar oder aufgrund ihres Fokus auf der englischen Sprache nur bedingt für den heimischen Markt zu gebrauchen sind. „Die [chinesischen] Entwickler von LLMs wollen ihren Teil dazu beizutragen, um eine Lösung zu schaffen“, sagte Kai-Fu Lee vergangenen November gegenüber Techcrunch. Noch sei China den USA technologisch nicht voraus, aber das Land könne „aufgrund des phänomenalen Ökosystems des mobilen Internets“ möglicherweise in Zukunft die besseren Anwendungen entwickeln.

Einen besonderen Fokus legen die chinesischen Firmen dabei auf Open Source. In den USA und Europa sind quelloffene Modelle, die prinzipiell von jedem kostenlos genutzt und angepasst werden können, ein Politikum; im Frühjahr veröffentlichte Meta sein erfolgreiches LlamA-Modell unter einer Open-Source-Lizenz. Andere Firmen, wie OpenAI, stellen ihre Modelle dagegen nicht frei und kostenlos zu Verfügung.

Anders in China: Dort scheint Open Source den Boom aktuell zu befeuern, wie die New York Times schreibt. Zum einen nutzen chinesische Firmen westliche Modelle und passen sie für ihre Bedürfnisse an. Die eingangs erwähnte Yi-Modellfamilie von 01.AI etwa basiert zumindest in Teilen auf Llama 2, wie inzwischen bekannt ist. So machen sich die chinesischen Firmen das westliche Knowhow zu nutze. Zum anderen veröffentlichen zahlreiche Startups in China ihre eigenen Modelle selbst unter einer Open-Source-Lizenz, auf die dann wiederum andere Firmen und Anbieter aufbauen. So konnte innerhalb kurzer Zeit in China eine riesige KI-Branche entstehen.

Inzwischen zeigen sich allerdings auch die Nachteile des „Hundred Model War“. Wie das Finanzmagazin Economist im Juni schrieb, führt das Vorhandensein vieler konkurrierender Modelle, ob Open Source oder nicht, zu einem Preiskampf: Viele Anbieter senken die Preise, die Kunden für den Zugriff bezahlen müssen, um mehr Kunden zu locken. Die Konkurrenz reagiert entsprechend. Da aber die Kosten für den Betrieb nicht fallen, könnten durch die Preisspirale gerade kleinere Firmen pleite gehen. Auch Kai-Fu Lee warnt vor einer „Lose-Lose-Situation“, wenn die Einnahmen nicht den Betrieb und die Entwicklung decken.

Das ist ein wichtiger Punkt: Das Training großer Sprachmodelle erfordert eine immense Rechenleistung mit hochspezialisierten Chips. Und die sind nicht nur stark gefragt, sondern auch teuer. Dazu kommen wirtschaftspolitische Interessen. So kann China aufgrund von Handelsbeschränkungen schon länger nicht mehr einfach die KI-Beschleuniger des US-Unternehmens Nvidia importieren, die für das Training neuer Modelle eigentlich unerlässlich sind. Da die Beschränkungen demnächst sogar noch verschärft werden könnten, decken sich chinesische Firmen derzeit mit möglichst vielen Chips ein.

Auch 01.AI hatte zugegriffen, solange es noch ging. Im vergangenen November verfügte das Startup laut Berichten von Techrunch über genug Rechenleistung „für die nächsten 12-18 Monate“. Schon damals hatte Firmenchef Lee gesagt, dass man in Zukunft vermutlich effizienter mit der vorhandenen Hardware umgehen müsse. Sonst könnte die Modelle, die inzwischen mit denen der US-Anbieter konkurrieren, schon bald wieder den Anschluss verlieren.