Gen-1: Neues KI-Modell kann ganze Videos mit wenigen Texteingaben verändern

KI-Modelle die aus einer simplen Beschreibung ein Bild in jedem beliebigen Stil erzeugen, sind seit Dall-E und Stable Diffusion längst Realität. Mit Runway will jetzt ein der an der Entwicklung von Stable Diffusion beteiligten Startups aber noch einen Schritt weitergehen: Statt einfache Bilder zu erzeugen, sollen Texteingaben bei dem KI-Modell Gen-1 gleich ganze Videos verändern.
Ein auf der Website des Unternehmens veröffentlichtes Demo-Video zeigt, wie die KI beispielsweise einer Kameraaufnahme den Look eines mit Knetfiguren erstellten Stop-Motion-Videos verpasst. Statt den gewünschten Look per Texteingabe festzulegen, soll es aber auch möglich sein, das Aussehen eines Bildes auf Videomaterial zu übertragen.

Gen-1 überträgt den Look eines Fotos direkt auf ein Video. (Grafik: Runway)
Neben ganzen Videos sollen sich auch einzelne Objekte markieren lassen, die dann wiederum über Texteingaben angepasst werden können. Im Demo-Video zeigt Runway beispielsweise, wie ein Hund mit weißem Fell auf die Art und Weise schwarze Punkte bekommt.
Ebenfalls möglich: simplen 3D-Animationen mithilfe von Gen-1 einen realistischen Look verpassen.
Wie genau die Technik funktioniert, verrät Runway derzeit noch nicht. Ein wissenschaftliches Paper, das die Vorgehensweise erklärt, ist zwar angekündigt, verfügbar ist es jedoch noch nicht.
Auch die Software selbst ist derzeit noch nicht öffentlich verfügbar. Wer möchte, der kann sich über dieses Formular als Testperson bewerben. Allerdings will Runway sich erst in einigen Wochen für alle Bewerber öffnen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team