Konkurrenz für Dall-E und Stable Diffusion: Meta zeigt neue Bild-KI
KI-generierte Bilder sind kein neues Konzept – denn beliebte Tools wie zum Beispiel Dall‑E oder Midjourney sind bereits weit verbreitet. Jetzt ist ein neuer Player in der Pipeline: CM3leon (ausgesprochen wie das Chamäleon).
Es handelt sich dabei um ein multimodales Basismodell für die Erstellung von Text-zu-Bild- und von Bild-zu-Text-Elementen. Nützlich ist das Tool für die automatische Generierung von Bildunterschriften. Die Besonderheit: CM3leon ist ein Token-basiertes autoregressives Modell.
Die heutigen Technologien der Text-zu-Bild-Erzeugung beruhen größtenteils auf der Verwendung von Diffusionsmodellen, um ein Bild zu erzeugen. „Diffusionsmodelle haben in letzter Zeit die Arbeit der Bilderzeugung aufgrund ihrer starken Leistung und relativ bescheidenen Rechenkosten dominiert“, schreibt Meta Research in einem Forschungspapier mit dem Titel „Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning“.
Das Token-basierte Modell liefert laut Meta eine noch bessere globale Bildkohärenz und kann effizienter sein als die auf Diffusionsmodellen basierenden Tools. „CM3leon erreicht eine Spitzenleistung bei der Text-zu-Bild-Erzeugung, obwohl es mit einem Fünftel der Rechenleistung trainiert.“
Der erste Schritt zur Entwicklung des Tools bestand aus einer Pre-Trainingsphase. Hierbei wurde nicht auf öffentlich zugängliche Bilder aus dem Internet zugegriffen, um die Methoden zu testen.
Stattdessen haben die Forschenden lizenzierte Bilder vom Stock-Anbieter Shutterstock verwendet. Dadurch können Bedenken bezüglich der Eigentumsrechte an den Bildern und draus resultierende Probleme zur Zuordnung des Bildmaterials verhindert werden.
Und das ist besonders wichtig, denn da sich die KI-Branche stetig weiterentwickelt, werden Modelle wie CM3leon immer ausgefeilter und entstehen im Training mit Millionen von Beispielbildern. Nach der Aufwärmphase kam die überwachte Feinabstimmung (SFT).
SFT ist ein Ansatz, der von OpenAI für das Training von ChatGPT verwendet wird. Im Paper merken die Forschenden an, dass SFT verwendet wird, um CM3leon zu trainieren und damit sicherzustellen, dass das Tool komplexe Eingabeaufforderungen versteht.
CM3leon verwendet einen reinen Decoder-Transformator, wie er auch bei etablierten textbasierten Modellen zum Einsatz kommt. Aber es gibt einen entscheidenden Unterschied: CM3leon besitzt die Fähigkeit, sowohl Texte aus Bildern als auch Bilder aus Texten zu erzeugen.
Das CM3leon-Modell kann sogar eine Reihe von verschiedenen Aufforderungen befolgen, um kurze oder lange Bildunterschriften zu erzeugen. Die Forschenden haben die Modelle mit verschiedenen Aufgaben konfrontiert und empirisch evaluiert.
Die Bildunterschriften passen sich dabei auch den Layout-Vorgaben an. Denn bei der strukturgeleiteter Bildbearbeitung geht es nicht nur um das Verstehen und Interpretieren von Textanweisungen, sondern auch darum, vorgegebene Layout-Informationen zu beachten.
Grafiker:innen werden sich freuen: CM3leon-Modelle können visuell angemessene Bearbeitungen eines Bildes erstellen und beachten dabei die Layout-Richtlinien.
Derzeit befindet sich CM3leon noch in den Kinderschuhen und ist vorerst ein Forschungsprojekt. Es ist nicht klar, ob oder wann Meta das Tool auf einer Plattform öffentlich zugänglich macht.
In Anbetracht der Leistungsfähigkeit ist es aber durchaus denkbar, dass es CM3leon über den Forschungsansatz hinaus schaffen wird. Modelle wie CM3leon können dazu beitragen, die Kreativität zu steigern und bessere Anwendungen im Metaverse zu entwickeln.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team