KI-Modelle die aus einer simplen Beschreibung ein Bild in jedem beliebigen Stil erzeugen, sind seit Dall-E und Stable Diffusion längst Realität. Mit Runway will jetzt ein der an der Entwicklung von Stable Diffusion beteiligten Startups aber noch einen Schritt weitergehen: Statt einfache Bilder zu erzeugen, sollen Texteingaben bei dem KI-Modell Gen-1 gleich ganze Videos verändern.
Ein auf der Website des Unternehmens veröffentlichtes Demo-Video zeigt, wie die KI beispielsweise einer Kameraaufnahme den Look eines mit Knetfiguren erstellten Stop-Motion-Videos verpasst. Statt den gewünschten Look per Texteingabe festzulegen, soll es aber auch möglich sein, das Aussehen eines Bildes auf Videomaterial zu übertragen.
Gen-1 überträgt den Look eines Fotos direkt auf ein Video. (Grafik: Runway)
Neben ganzen Videos sollen sich auch einzelne Objekte markieren lassen, die dann wiederum über Texteingaben angepasst werden können. Im Demo-Video zeigt Runway beispielsweise, wie ein Hund mit weißem Fell auf die Art und Weise schwarze Punkte bekommt.
Ebenfalls möglich: simplen 3D-Animationen mithilfe von Gen-1 einen realistischen Look verpassen.
Gen-1: Video-KI derzeit nur für geladene Gäste verfügbar
Wie genau die Technik funktioniert, verrät Runway derzeit noch nicht. Ein wissenschaftliches Paper, das die Vorgehensweise erklärt, ist zwar angekündigt, verfügbar ist es jedoch noch nicht.
Auch die Software selbst ist derzeit noch nicht öffentlich verfügbar. Wer möchte, der kann sich über dieses Formular als Testperson bewerben. Allerdings will Runway sich erst in einigen Wochen für alle Bewerber öffnen.
