KI-generierte Bilder sind kein neues Konzept – denn beliebte Tools wie zum Beispiel Dall‑E oder Midjourney sind bereits weit verbreitet. Jetzt ist ein neuer Player in der Pipeline: CM3leon (ausgesprochen wie das Chamäleon).

Es handelt sich dabei um ein multimodales Basismodell für die Erstellung von Text-zu-Bild- und von Bild-zu-Text-Elementen. Nützlich ist das Tool für die automatische Generierung von Bildunterschriften. Die Besonderheit: CM3leon ist ein Token-basiertes autoregressives Modell.

Die heutigen Technologien der Text-zu-Bild-Erzeugung beruhen größtenteils auf der Verwendung von Diffusionsmodellen, um ein Bild zu erzeugen. „Diffusionsmodelle haben in letzter Zeit die Arbeit der Bilderzeugung aufgrund ihrer starken Leistung und relativ bescheidenen Rechenkosten dominiert“, schreibt Meta Research in einem Forschungspapier mit dem Titel „Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning“.

Das Token-basierte Modell liefert laut Meta eine noch bessere globale Bildkohärenz und kann effizienter sein als die auf Diffusionsmodellen basierenden Tools. „CM3leon erreicht eine Spitzenleistung bei der Text-zu-Bild-Erzeugung, obwohl es mit einem Fünftel der Rechenleistung trainiert.“

Der erste Schritt zur Entwicklung des Tools bestand aus einer Pre-Trainingsphase. Hierbei wurde nicht auf öffentlich zugängliche Bilder aus dem Internet zugegriffen, um die Methoden zu testen.

Stattdessen haben die Forschenden lizenzierte Bilder vom Stock-Anbieter Shutterstock verwendet. Dadurch können Bedenken bezüglich der Eigentumsrechte an den Bildern und draus resultierende Probleme zur Zuordnung des Bildmaterials verhindert werden.

Und das ist besonders wichtig, denn da sich die KI-Branche stetig weiterentwickelt, werden Modelle wie CM3leon immer ausgefeilter und entstehen im Training mit Millionen von Beispielbildern. Nach der Aufwärmphase kam die überwachte Feinabstimmung (SFT).

SFT ist ein Ansatz, der von OpenAI für das Training von ChatGPT verwendet wird. Im Paper merken die Forschenden an, dass SFT verwendet wird, um CM3leon zu trainieren und damit sicherzustellen, dass das Tool komplexe Eingabeaufforderungen versteht.

CM3leon verwendet einen reinen Decoder-Transformator, wie er auch bei etablierten textbasierten Modellen zum Einsatz kommt. Aber es gibt einen entscheidenden Unterschied: CM3leon besitzt die Fähigkeit, sowohl Texte aus Bildern als auch Bilder aus Texten zu erzeugen.

Das CM3leon-Modell kann sogar eine Reihe von verschiedenen Aufforderungen befolgen, um kurze oder lange Bildunterschriften zu erzeugen. Die Forschenden haben die Modelle mit verschiedenen Aufgaben konfrontiert und empirisch evaluiert.

Die Bildunterschriften passen sich dabei auch den Layout-Vorgaben an. Denn bei der strukturgeleiteter Bildbearbeitung geht es nicht nur um das Verstehen und Interpretieren von Textanweisungen, sondern auch darum, vorgegebene Layout-Informationen zu beachten.

Grafiker:innen werden sich freuen: CM3leon-Modelle können visuell angemessene Bearbeitungen eines Bildes erstellen und beachten dabei die Layout-Richtlinien.

Derzeit befindet sich CM3leon noch in den Kinderschuhen und ist vorerst ein Forschungsprojekt. Es ist nicht klar, ob oder wann Meta das Tool auf einer Plattform öffentlich zugänglich macht.

In Anbetracht der Leistungsfähigkeit ist es aber durchaus denkbar, dass es CM3leon über den Forschungsansatz hinaus schaffen wird. Modelle wie CM3leon können dazu beitragen, die Kreativität zu steigern und bessere Anwendungen im Metaverse zu entwickeln.