Die Vision war klar: Man setzt sich eine AR-Brille auf, setzt sich ins Auto und bekommt auf der Fahrt holografische Anzeigen über den Verkehr, Shops und Sehenswürdigkeiten angezeigt. Das Problem: Die Hololens konnte es nicht. Das soll sich nach der intensiven Zusammenarbeit zwischen dem Data-Science-Team der Volkswagen Group Innovation und dem Mixed Reality Lab von Microsoft geändert haben. Microsoft hat nun den „Moving Platform“-Modus vorgestellt, der neue Einsatzmöglichkeiten verspricht, und erzählt die Entstehungsgeschichte. Interessenten gibt es bisher vor allem aus dem maritimen Bereich. Die AR-Brille war zuletzt durch negative Schlagzeilen aufgefallen.

VW startete 2015 ein Forschungsprojekt, um den Einsatz von AR-Brillen in den Fahrzeugen zu erproben. Ziel war, einem selbst lernenden Autopiloten über AR das Fahren auf einer Rennstrecke beizubringen. Für den Race Trainer wollte man die Hololens einsetzen und stieß auf Komplikationen. Sobald das Fahrzeug anfuhr, verloren die Sensoren die Orientierung. Das VW-Team flog nach Redmont, um Marc Pollefey, den Microsoft-Chef für Forschung, zu treffen. Der Experte für 3D-Computer-Vision und maschinelles Lernen empfang das Team um Andro Kleen, den Leiter der Data-Science-Abteilung bei VW Forschungsabteilung „Innovation“.

Pollefey erinnert sich: „Wir hatten ausführliche Diskussionen.“ Die Forscher:innen-Gruppe von VW zeigte Anwendungsfälle, Visionen und war an einer Lösung interessiert. 2018 startete die Zusammenarbeit, um das Kernproblem der Brille zu lösen: Die Kamera-Daten stimmten nicht mit den Erfassungen des Trägheitssensors zusammen – die Brille zeigte eine Art Reisekrankheit. Pollefeys Leute erarbeiteten einen Algorithmus, um die Sensoren nachzujustieren. Dann kam die Corona-Pandemie. In der Folge musste der leitende Software-Ingenieur Joshua Elsdon das System in seiner Wohnung in Zürich und im öffentlichen Nahverkehr erproben. Das Mixed-Reality- und AI-Lab von Microsoft sitzt dort. Zu Testzwecken fuhr er zu Hause nachts im Aufzug hoch und runter, um Tests durchzuführen. Später testete Microsoft die Funktion zusammen mit Volkswagen.

Das VW-Team verband die „neue“ Brille mit einem Fahrzeug und spielte dessen Echtzeitdaten auf die Brille. Außerdem experimentierte es mit Anwendungsfällen, um Verbesserungspotenziale der virtuellen Schnittstellen im Innenraum auszuloten. Ein extra Positionierungssystem ermöglichte, 3D-Sehenswürdigkeiten außerhalb des Fahrzeugs zu platzieren. Michael Wittkämper, Augmented-Reality-Experte bei Volkswagen, sagt: „Es eröffnet völlig neue Möglichkeiten, Hologramme nicht nur im Blickfeld des Fahrers anzuzeigen, sondern auch dort, wo der Brillenträger hinschaut.“

Die Hololens setzten Reedereien bereits ein, um Fernanalysen zu erstellen. Das kann jedoch bisher nur im Hafen geschehen. Interessanter ist der Einsatz auf hoher See, weshalb Microsoft diesen expliziten Anwendungsfall zurzeit weiterentwickelt. Im nächsten Schritt soll die Funktion in Aufzügen, Fahrzeugen und Bahnen zum Einsatz kommen. Kleen von VW stellt sich vor, dass man über die Technologie in Zukunft das Innere des Autos mit der Außenwelt verknüpft: Lkw- und Busfahrern etwa beim Fahren durch enge Gassen hilft, über Sehenswürdigkeiten informiert und spezielle Unterhaltungsprogramme entwickelt.

Pollefey sagt: „Microsoft ist nicht nur an kommerziellen Geräten wie HoloLens interessiert, sondern auch längerfristig an Geräten, die für den Verbraucher im täglichen Leben sinnvoll sind.“ Eine solche Brille war bei Microsoft unter dem Codenamen Calypso geplant, doch der Konzern stampfte das Projekt Insidern zufolge ein. Dasselbe gilt für die Hololens 3. Daraufhin sollen 25 Entwicker:innen zu Meta übergelaufen sein – insgesamt sollen über 100 Mitarbeiter:innen Microsoft verlassen haben. Dem Vernehmen nach ist die Hololens in der obersten Geschäftsführung ein ungeliebtes Kind, das kaum Einnahmen verzeichnet. Selbst der Militärauftrag in Höhe von 22 Milliarden US-Dollar scheint zu platzen. Die US-Armee ist zu enttäuscht von der Probephase.