Mit Augmented Reality (AR) oder Mixed Reality ist das so eine Sache. Seit Jahren stecken Firmen wie Apple, Google und Meta extrem viel Geld in Hard- und Software. Und dennoch fragt man sich jedes Jahr aufs neue, wann denn jetzt endlich mal der Durchbruch kommt und wann es endlich die eine Killer-Anwendung gibt, die dafür sorgt, dass alle Menschen AR nutzen wollen? Wahrscheinlich niemals.

Aber keine Sorge, AR ist dennoch noch nicht als Konzept gescheitert, obwohl es immer wieder Stimmen gibt, die das behaupten. Allerdings muss man etwas genauer hinschauen, um Apps zu finden, die verschiedene Aspekte einer Mixed-Reality-Umgebung beleuchten, nutzen und sinnvoll einsetzen. Oft handelt es sich dabei auch noch um Konzepte, aber es gibt auch fertige Apps, die bereits jetzt einsetzbar sind und die einen echten Mehrwert durch AR bieten. Wir haben uns einmal auf die Suche begeben und ein paar der aktuell interessantesten Konzepte und Apps aufgespürt.

Erst vor wenigen Tagen hat die in erster Linie für ihre Grafikkarten bekannte Firma Nvidia ein Video veröffentlicht, in dem unter anderem in einer Szene ein Mensch mit einer Apple Vision Pro und ein Roboter zu sehen sind. Beide stehen zusammen in einer Küche, der Mensch etwas im Hintergrund, der Roboter im Vordergrund am Tisch. Das Besondere daran: Der Mensch nimmt über die Vision Pro quasi die Perspektive des Roboters ein, da dessen Kamerabilder an die Brille übertragen werden. Gleichzeitig werden die von der Vision Pro getrackten Handbewegungen des Menschen an den Roboter gesendet, der diese dann spiegelt. So ist es in dem Beispiel möglich, dass der Roboter einen Toast mit Honig zubereitet.

Nvidia hat für diese Form der Steuerung gleich eine ganze Reihe an neuen Tools entwickelt, die unter anderem dafür genutzt werden können, humanoide Roboter auf diese Weise zu trainieren und die Bewegungsabläufe auch ohne Fernsteuerung zu optimieren. Aber auch ohne Training wären Situationen denkbar, in denen es sehr praktisch wäre, einen Roboter aus der Ferne auf diese Weise steuern zu können. Man denke nur an den Einsatz von Robotern in einsturzgefährdeten Gebäuden oder sonstigen gefährlichen Umgebungen.

Im Video ist allerdings auch zu sehen, dass Nvidia noch relativ am Anfang dieser Entwicklung stehen dürfte und etwa die Geschwindigkeit der Bewegungen des Roboters noch sehr eingeschränkt wirkt.

Das nächste Beispiel für eine AR-Anwendung führt uns in ein Restaurant oder Café. Immer mal wieder gibt es dort ja auch Speisekarten, die Fotos der verschiedenen Speisen und Getränke enthalten. Die klassische, aufklappbare Pappkarte im Eiscafé wäre ein bekanntes Beispiel dafür.

Hinter der Bezeichnung AR Code Object Capture steckt eine iPhone-App, die diese Pappkarten quasi in Version 2.0 anbieten möchte. Dazu werden zunächst mit einem handelsüblichen Smartphone per Kamera die Speisen vom Restaurant in 3D eingescannt. In der Speisekarte sind dann QR-Codes abgedruckt, über die die Kund:innen dann wiederum mit ihrem eigenen Smartphone die 3D-Modelle der Speisen in Lebensgröße in AR auf den Tisch zaubern können. Die Entscheidung, welches Gericht man wählt, oder ob der Eisbecher mit 17 Kugeln vielleicht doch etwas zu groß für einen ist, sollte so leichter fallen.

Die Technik dahinter, nämlich Apples ARKit, ist nicht neu, sondern schon seit mehreren Jahren Bestandteil der Betriebssysteme für iPhone und iPad. Und auch der Einsatz von AR im Bereich Shopping ist keine komplett neue Erfindung, das Beispiel mit den Speisekarten zeigt aber sehr schön, wie diese Technologie in Smartphones im Alltag eingesetzt werden könnte. Ganz ohne Vision Pro und Co.

Für die nächste App wiederum benötigt man eine AR-Brille, in dem Fall sogar genauer eine Meta Quest. Das Spiel Track Craft ist so etwas wie die Carrera-Rennbahn in Mixed Reality. Spieler:innen bauen darin eine virtuelle Rennstrecke in ihrem echten Wohnzimmer auf und können dann kleine Fahrzeuge darauf gegeneinander fahren lassen. Soweit, so unspektakulär verglichen mit anderen Mixed-Reality-Games. Doch Track Craft hat eine Besonderheit.

Ein großes Problem von Mixed-Reality-Headsets ist bisher, dass niemand anderes im Raum sehen kann, was man da eigentlich virtuell gerade tut. Die Entwickler:innen haben nun aber eine Möglichkeit in das Spiel implementiert, gemeinsam an Tracks zu bauen und gegeneinander Rennen zu fahren. Der Haken daran: Dafür brauchen alle Spieler:innen ein eigenes Headset.

Der neue gemeinsame Modus ist gerade noch in der Entwicklung, soll aber demnächst Bestandteil des Games werden.

Das nächste Beispiel ist keine App oder Anwendung im eigentlichen Sinne, sondern ein Toolset der Firma SyncReality, das Entwickler:innen und Künstler:innen ermöglichen soll, eine sehr spannende Form von Mixed-Reality in ihre eigenen Anwendungen einbauen können. Mixed-Reality wird dabei fast wörtlich genommen und die Idee ist so simpel wie spannend.

Mit einem Headset wird der reale physische Raum vermessen, inklusive aller Möbel und Gegenstände darin. Im Anschluss bietet das Toolset von SyncReality die Möglichkeit, über diese realen Objekte digitale 3D-Modelle zu legen. Warum? So kann ein echtes Wohnzimmer sich zum Beispiel in ein Raumschiff verwandeln. Und dort, wo in echt ein Stuhl steht, steht auch in der digitalen Version ein Stuhl – welcher allerdings so aussieht wie ein Stuhl in einem Raumschiff. Und da ja ein echter Stuhl dort steht, kann man sich auch auf ihn setzen. Oder durch echte Türen hindurchgehen, echte Gegenstände anfassen und so weiter. Das ermöglicht eine ganz neue Form der Interaktion von digitalen und physischen Objekten und des Storytellings, ohne dass man Angst haben muss, gegen etwas zu laufen oder mit Schwung die nächste Wand umzurennen.

Noch ist SyncReality in der Alpha-Phase, kann von Entwickler:innen aber bereits ausprobiert werden.

Inzwischen fast schon ein Klassiker und sicher gibt es Leser:innen denen eine solche Form der Technologie in Museen bereits begegnet ist, aber ein aktuelles Projekt dieser Art zeigt erneut, dass AR-Inhalte auch in einem Museum einen Mehrwert bieten.

In einer aktuellen Ausstellung des San Angelo Museum of fine Arts im US-Bundesstaat Texas sind Fotografien des Künstlers Will Wilson zu sehen, auf denen aktuelle Portraits amerikanischer Ureinwohner abgebildet sind. Wilson verwendet für die Bilder alte Fotoplatten und damit dieselbe Technik, wie Edward Sheriff Curtis sie für seine inzwischen umstrittenen Porträts von Ureinwohnern zu Beginn des vorherigen Jahrhunderts einsetzte.

Die Ästhetik der Bilder ist also sehr altertümlich, doch der Künstler bringt die Fotos durch den Einsatz von Mixed-Reality gleichzeitig in die Gegenwart. Mit dem Projekt „Talking Tintypes“ wird AR-Technologie eingesetzt, um die Fotografien zum Leben zu erwecken und sprechen zu lassen. Die Besucher:innen müssen dafür lediglich eine kostenlose Smartphone-App herunterladen.

Und nun zum Sport. Genauer gesagt zu zwei Apps, die die Formel 1 und Golf mit AR ergänzen und eine sinnvolle Erweiterung zur normalen Übertragung der beiden Sportarten anbieten. Den Anfang macht die App Lapz für die Apple Vision Pro. Setzt man sich das Headset auf, bietet die Anwendung zum einen Multiview. Heißt, man kann auf mehreren virtuellen Displays die Hauptübertragung, den Zeitenmonitor und mehrere Fahrer-Kameras gleichzeitig betrachten. Zum anderen bietet Lapz eine virtuelle 3D-Darstellung der Rennstrecke, auf der gerade gefahren wird. Diese kann zum Beispiel auf einem Tisch platziert werden und zeigt die aktuelle Position der Fahrer in Echtzeit auf der Strecke an. Ein echter Mehrwert zur Übertragung in 2D. Noch ist die App aber leider nur per TestFlight verfügbar und damit nicht offiziell veröffentlicht.

Einen ganz ähnlichen Ansatz, aber für Golf und auch bereits erhältlich, bietet die App PGA Tour von der wichtigsten amerikanischen Golf-Tour. Auch hier kann man die Liveübertragung und die aktuellen Statistiken per virtuellem Display verfolgen, und auch hier gibt es eine virtuelle 3D-Darstellung des Platzes. Statt aber nur die Position der Spieler an den einzelnen Löchern anzuzeigen, können die Zuschauer:innen fast in Echtzeit die Flugbahn und den Endpunkt des Balls nachverfolgen. Die Entwickler:innen bezeichnen die App selbst als „The closest thing to being there“ und tatsächlich wäre wohl nur ein Besuch vor Ort näher dran am Geschehen als diese virtuelle Darstellung.