Grok: Elon Musks Chatbot ist jetzt Open Source – aber ein Detail fehlt
Vergangene Woche hat Elon Musk versprochen, den von seinem Unternehmen xAI entwickelten Chatbot öffentlich zugänglich zu machen. Seit Sonntag ist der Chatbot Grok nun Open Source – die Trainingsdaten für den Bot behält Musk jedoch für sich.
Was der Source-Code von xAI für Grok beinhaltet
Wie xAI in einem Blogbeitrag erklärt, hat man die Netzwerkarchitektur und Gewichte des Basismodells von Grok-1 freigegeben. Das Modell verfüge über 314 Milliarden Parameter und sei nicht für spezifische Anwendungen optimiert.
Auf der Plattform GitHub steht der Source-Code unter Apache Licence 2.0 zur Verfügung, was die Weiterentwicklung des Codes und die kommerzielle Verbreitung der neuen Versionen ermöglicht. Einige KI-Entwickler:innen wie Perplexity-CEO Arvind Srinivas haben bereits angekündigt, Grok in die eigene Technologie einbinden zu wollen.
Elon Musk gibt nicht alles frei: Der Trainingscode von Grok fehlt
Wie unter anderem Techcrunch anmerkt, fehlt bei dem Source-Code jedoch ein Detail: Die Trainingsdaten für Grok gibt Elon Musk offenbar noch nicht heraus. Einer eigenen Nutzung des Codes steht das nicht im Weg, da Grok laut xAI bereits trainiert wurde, allerdings fehlen damit die Informationen, anhand welcher Quellen das geschehen ist.
In seinem Blog gibt xAI lediglich an, dass Grok anhand „einer großen Menge an Textdateien“ trainiert wurde, ohne Fokus auf eine spezifische Anwendung. Da Grok bislang nur Premium-Kunden von X zur Verfügung gestanden hat, darf man davon ausgehen, dass dortige Social-Media-Posts eine Rolle beim Training gespielt haben.
Damit sei Grok mehr Open Source als andere Open-Weight-Modelle, aber eben auch weniger Open-Source als Pythia, Bloom und OLMo, die Trainingsdaten und reproduzierbare Datensätze enthalten, merkt etwa der KI-Forscher Sebastian Raschka auf X an.
Was kann Grok, was andere Chatbots nicht können?
Ein wenig verwunderlich scheint diese Lücke vor allem deswegen, da sich Elon Musk insbesondere in Bezug auf KI als glühender Verfechter von Open-Source-Praktiken zeigt. Vor Kurzem hat er KI-Vorreiter OpenAI sogar verklagt, weil die ihrem ursprünglichen Ziel, KI-Technologie zum Wohle der Menschheit statt für Profit zu entwickeln, nicht mehr nachkommen würden.
Elon Musk selbst ist allerdings vergleichsweise spät in das Rennen um KI-Technologie eingestiegen, als er im März 2023 xAI gegründet und kurze Zeit später mit der Entwicklung von Grok begonnen hat. Damals hatte Musk verkündet, dass Grok speziell dazu entwickelt würde, politisch nicht korrekt zu sein und anders als die Konkurrenz wie ChatGPT unorthodoxe Antworten zu liefern. Mit der Open-Source-Freigabe wird sich zeigen, inwiefern das in der technischen Welt Anwendung findet.
