Acht Monate, nachdem ChatGPT-Entwickler OpenAI mit Sora eine ziemlich beeindruckende Text-to-Video-KI vorgestellt hat, legt Meta jetzt nach. Movie Gen ist wie Sora ein KI-Modell, das aus Textanweisungen kurze Videos erstellt – aber die Meta-KI kann noch mehr.
Movie Gen: Metas Video-KI kann viel
So lassen sich mit Movie Gen nicht nur neue KI-Videos erstellen, sondern auch bestehendes Bewegtbildmaterial nachträglich bearbeiten. Mit einfachen Anweisungen können so Szenen geändert, etwa Regen eingefügt, oder Objekte ausgetauscht werden.
Zudem können Videos aus einfachen Fotos erstellt werden, wie The Verge schreibt. So wird in einem Meta-Beispiel etwa eine auf einem Passbild abgebildete Person als handelnde Person in einem Video dargestellt.
KI-Tool generiert passende Musik
Noch spannender ist, dass Movie Gen zu den Videos gleich passende Sounds oder Musik liefert – die ebenfalls KI-generiert sein sollen. Meta zeigt hier etwa Fahrzeuge mit Motorengeräuschen und Rockmusik, explodierende Silvesterraketen oder Orchesterklänge zu Naturszenen.
Angesichts der hohen Videoqualität und der Vielzahl der Bearbeitungsoptionen dürfte gerade in der Film- und Videobranche alles andere als gute Laune herrschen. Denn die vorgeführten Beispiele sehen schon sehr realistisch aus. Dazu kommt noch die Möglichkeit, die passende Begleitmusik erstellen zu lassen.
Meta zufolge bietet das Videomodell von Movie Gen 30 Milliarden Parameter, das dazugehörige Audiomodell 13 Milliarden Parameter. Zur Einordnung: Metas Llama-KI kommt auf 405 Milliarden Parameter.
Bisher kann die Text-to-Video-KI bis zu 16 Sekunden lange Videos erstellen. Die Auflösung beträgt 768 mal 768 Pixel, kann aber per Upsampling aber auf HD-Qualität (1.080p) gebracht werden.
Marktstart von Movie Gen ungewiss
Noch lässt sich Metas Movie Gen nicht von normalen Nutzer:innen ausprobieren. Die Video-KI steht bisher lediglich internen Entwickler:innen und einigen ausgewählten Beta-Nutzer:innen zur Verfügung.
Und das dürfte auch noch eine Weile so bleiben. Meta-Produktmanager Chris Cox erklärte via Threads, dass das Unternehmen noch nicht soweit sei, das KI-Tool zu veröffentlichen. Und das werde auch noch eine Weile so bleiben.
Grund: Das Ganze sei noch teuer und es dauere zu lange, bis die Videos erstellt sind. Entsprechend unklar ist, wann Movie Gen kommt. So bald dürfte das nicht sein. Denn auch OpenAIs Sora ist über ein halbes Jahr nach der Präsentation ja noch nicht verfügbar.