Es ist nicht das erste Mal, dass Nvidia versucht, aus 2D-Bildern dreidimensionale Objekte zu generieren. Bereits vor etwas mehr als einem Jahr im Sommer 2021 stellte Nvidia mit Ganverse-3D eine experimentelle KI vor, die aus 2D-Fotos 3D-Modelle erzeugen konnte. Ganverse-3D richtete sich an Spieleentwickler, Architekten und 3D-Designer.

Jetzt hat Nvidia mit 3D Moma erneut eine KI veröffentlicht, die auf diesem Gebiet heimisch ist. Die neue KI-Methode konzentriert sich dabei primär darauf, Standbilder in 3D-Objekte umzuwandeln, die von ihren Erstellern beliebig modifiziert werden können.

3D Moma befindet sich noch in der Entwicklung, aber Nvidia glaubt, dass es Spieleentwicklern und anderen Designern ermöglichen könnte, 3D-Objekte schnell zu modifizieren – und sie dann zu jeder virtuellen Szene hinzuzufügen. Nvidia will gerade Spielestudios eine einfache Möglichkeit bieten, Szenen und Bilder zu verändern. Durch inverses Rendering beschleunigt die KI einen sonst aufwendigen Prozess, der verwendet wird, um die physikalischen Eigenschaften einer Szene, von Geometrie bis Beleuchtung, durch eine Standbildanalyse einzuschätzen.

Vorgestellt wurde 3D Moma auf der Computer Vision and Pattern Recognition Conference im amerikanischen New Orleans. Die Stadt am Golf von Mexiko gilt als Geburtsort des Jazz. Dieses Fakts bedienten sich die Nvidia-Forscher bei der Vorstellung ihrer neuen KI. Sie sammelten Hunderte Bilder von Trompeten, Posaunen, Saxofonen, Trommeln und Klarinetten und rekonstruierten diese in einer dreidimensionalen Umgebung. Anschließend überarbeiten sie die Instrumente und tauschten etwa billige Plastikteile durch hochwertige goldene aus. Der Höhepunkt der Vorstellung war dann das Einfügen der virtuellen 3D-Objekte in eine animierte Szene.