Sprachmodelle auf Basis von künstlicher Intelligenz sind einer der größten Trends im Bereich des maschinellen Lernens. Sie sollen menschliche Sprache bis in Nuancen hin nachahmen können, als Chatpartner dienen, Code schreiben und selbst juristische Werke in Alltagssprache übersetzen. Das derzeit bekannteste Modell heißt GPT-3 (Generative Pre-trained Transformer 3) und wird vom Unternehmen Open AI entwickelt. Doch jetzt hat GPT-3 neue Konkurrenz erhalten – aus dem Hause Meta.

Unter dem Namen Open-Pre-trained-Transformer, kurz OPT, hat die KI-Abteilung des Facebook-Konzerns ein neues Modell mit bis zu 175 Milliarden Parametern vorgestellt und das passende wissenschaftliche Paper dazu veröffentlicht. Die Besonderheit: Anders als GPT-3, dessen Modelle kostenpflichtig sind, kann OPT für den nichtkommerziellen Gebrauch kostenlos genutzt werden. In Sachen Performance soll es mit GPT-3 mithalten können und dabei sogar deutlich weniger Ressourcen verbrauchen.

Meta veröffentlicht außerdem den Code des Modells und ein Logbuch, das den Trainingsprozess der KI dokumentiert und sämtliche Daten enthält, die dem Modell hinzugefügt wurden. Auf mehr als 100 Seiten mit Notizen protokollieren die Forscher jeden Fehler, Absturz und Neustart der KI, die in einem Testlauf zwischen Oktober 2021 bis Januar 2022 aufgetreten sind.

Die Transparenz soll helfen, das Sprachmodell besser zu verstehen und vor allem besser zu machen. Noch immer kämpfen Sprach-KIs mit diversen Problemen, etwa mit Bias und Vorurteilen, die aus unzulänglichen Trainingsdaten entstehen. Das musste zwischenzeitlich auch Open AI offen zugeben.

„Wir glauben, dass die gesamte KI-Community – Forscher, die Zivilgesellschaft, politische Entscheidungsträger und die Industrie – zusammenarbeiten muss, um klare Richtlinien für verantwortungsvolle KI im Allgemeinen und verantwortungsbewusste große Sprachmodelle im Besonderen zu entwickeln“, heißt es in der Ankündigung von Meta. Durch den direkten Zugang zu OPT wolle man gewährleisten, dass sich jeder den Zugang leisten kann und das Modell auf Schwachstellen untersucht, die man anschließend gemeinsam beseitigt. Auch wolle man die Kluft zwischen Universitäten und der Tech-Industrie überbrücken.

Innerhalb der Szene wird die Entscheidung, das Sprachmodell und dessen Code kostenlos zur Verfügung zu stellen, prinzipiell gelobt. „Es ist ein großartiger Schritt“, sagt etwa Thomas Wolf, Wissenschaftler des KI-Startups Hugging Face gegenüber Technology Review. „Je offener die Modelle, desto besser.“

Seine Kollegin Margaret Mitchell aber warnt auch vor möglichen Folgen: So sei die Freigabe eines großen Sprachmodells für die Welt auch mit Verantwortung verbunden. Denn natürlich wisse man nicht, wer letztlich welche Anwendungen damit generiert – man denke an Fake News und Deepfakes – und ob die erwünschten Vorteile die vorhersehbaren Nachteile letztlich überwiegen.