Schweigende Kacheln, technische Probleme oder einfach die Distanz – es gibt viele Dinge, derentwegen Menschen von Videocalls genervt sind. Besonders die Zusammenarbeit bei einem physischen Objekt, wie beispielsweise beim Zusammenbau eines Computers, gestaltet sich über Zoom und Co. schwierig. Sind die Personen nicht im selben Raum, ist das eine große Herausforderung. Ein neues Remote-Tool lässt nun Benutzer:innen, die nicht vor Ort sind, die Ansicht der Szene in 3D beliebig steuern. So können sie auch bei komplexeren Aufgaben helfen.

Sharednerf ist ein 3D-Tool, das von einem Microsoft-Research-Team um Mose Sakashita entwickelt worden ist. Benötigt werden für das System lediglich zwei Kameras. Eine befindet sich am Kopf der Person, die vor Ort ist. Eine andere wird über dem Objekt angebracht.

Den Namen hat das System von der Rendering-Methode namens Neural Radiance Field (Nerf). Mit Unterstützung von KI erstellt das System aus 2D-Bildern eine 3D-Darstellung. Dabei werden zwei Techniken miteinander verbunden. Eine schnelle Rendermethode hilft dabei, zügig die Perspektive zu wechseln. Sie ist aber weniger präzise. Um auch hochauflösende Bilder zu erstellen, nutzt das Tool eine langsame und fotorealistische Technik. So entstehen erstaunlich realistische Abbildungen der Objekte. Auch Reflexionen, Transparenz und Texturen werden beim Perspektivwechsel übernommen.

„Wenn man eine Aufgabe mit physischen Objekten ausführt, wie das Reparieren eines Wasserhahns in der Küche oder das Zusammenbauen eines Schaltkreises, sind die heutigen Videokonferenzsysteme ziemlich klobig“, sagt der Co-Entwickler von Sharednerf, Andrew Wilson. „In letzter Zeit gab es einen Innovationsschub bei Computergrafiken und Rendering-Techniken. Sharednerf gehört zu den ersten Versuchen, diese Techniken zu nutzen, um Probleme zu lösen, die entstehen, wenn man mehr als nur sprechende Köpfe zeigen will.“

In der dazugehörigen Studie mussten sieben Teilnehmende Blumen richtig arrangieren. Fünf davon bevorzugten Sharednerf. Alle waren sich einig, dass das System ihnen half, die Details des Entwurfs zu sehen, und ihnen eine bessere Kontrolle über das gab, was sie sahen.

Noch ist das Tool nicht marktreif. Bislang kann es nämlich nur in Meetings mit zwei Personen genutzt werden. Außerdem möchten die Forschenden die Bildqualität verbessern. Auch Virtual-Reality- oder Augmented-Reality-Techniken sollen integriert werden.