Lidar – was der iPhone-Laser alles kann
Anfänglich wurde die Technologie für militärische Zwecke in Flugzeugen verwendet. Bekanntheit erlangte Lidar vor allem, als das System in den 70er Jahren bei der Apollo-15-Mission beim Kartografieren der Mondoberfläche zum Einsatz kam. Seitdem wurden die Systeme kleiner, billiger und genauer – und mittlerweile zu einer guten Ergänzung für mobile Endgeräte.
Wie funktioniert der Lidar-Scanner?
Das Lidar-System, das in den beiden Pro-Versionen des iPhone 12 wie auch im iPad Pro 2020 verbaut ist, scannt seine Umgebung, indem es über einen kurzen Zeitraum eine Folge von Laser-Impulsen auf verschiedene Teile einer Szene abfeuert. Dabei wird die Zeit gemessen, die das vom Laser ausgesandte Licht benötigt, um auf ein Objekt zu treffen und wieder zurückzukehren. Durch die vom Objekt reflektierten Lichtpartikel wird nicht nur die Entfernung berechnet, sondern auch ein nahezu exaktes Ebenbild des Gegenstandes abgebildet.
Im Gegensatz zu „scannerlosen“ Systemen, die 3D-Abbildungen mithilfe eines einzigen Infrarot-Lichtimpulses erstellen, ermöglichen die Laserimpulse des Lidar-Scanners nicht nur eine Steigerung der Reichweite von bis zu fünf Metern, sondern auch eine bessere Objekt-Okklusion. Das bedeutet, dass virtuelle Objekte hinter realen Objekten versteckt werden können. Damit gehört die Lidar-Technik zur Gattung der „Time of Flight“-Sensoren, die im Smartphone bisher vor allem zur Verbesserung von künstlichen Fotoeffekten wie Augmented Reality verwendet werden.
Was kann ich mit dem Lidar-Scanner machen?
Der Lidar-Scanner ist bisher vor allem für raumbezogene Anwendungen ausgelegt, wie beispielsweise für diverse Maßband-, Möbel- oder Shopping-Applikationen. Diese Funktionen sollten einigen User:innen bereits aus den technisch etwas ungenaueren AR-Apps bekannt sein.
Doch ist der Zenit dieser Technologie damit bereits erreicht? Mit welchen Anwendungsszenarien lässt sich die Technologie verbinden, sodass ein Mehrwert zusätzlich zum „digitalen Maßband“ entsteht? Im Folgenden werfen wir einen Blick auf unterschiedliche Use-Cases, die sowohl im privaten als auch im industriellen Bereich umgesetzt werden könnten. Wir wollen sowohl das theoretische als auch das praktische Potenzial des Sensors im Smartphone testen.
Wand- und Raumvermessung
Blicken wir zunächst auf das bereits erwähnte, gängigste Anwendungsgebiet des Lidar-Sensors in Applikationen: die Wand- und Raumvermessung. Dabei werden Erhebungen oder Aussparungen präzise erkannt und problemlos von der erfassten Fläche abgezogen.
Die so gewonnen Daten und Informationen können benutzt werden, um etwa eine Küche zu planen, die optimal an den Raum angepasst ist. So kann der Lidar-Sensor helfen, den verfügbaren Platz an den Wänden effektiv zu nutzen.
Wandgestaltung
Vor allem bei der Gestaltung von Innenräumen kann Lidar einige nützliche Funktionen ermöglichen: Es wäre denkbar, dass User:innen mithilfe ihres Smartphone-Sensors einen Raum oder eine Wand vermessen. Daraufhin wird ihnen die berechnete Fläche der Wand in Quadratmetern angezeigt sowie der etwaige Farbverbrauch und ein empfohlenes Werkzeug zum Streichen. Gleichzeitig ist es möglich, verschiedene Farbtöne für die Wand live zu testen. Dabei werden Objekte, die vor der Wand stehen, erkannt und problemlos von der projizierten Farbfläche abgezogen.
Gartenvermessung
Da der Lidar-Sensor sowohl in Innenräumen als auch im Freien einsatzfähig ist, kann er ebenfalls zur Unterstützung der Gartenpflege eingesetzt werden. Hier sind Anwendungsszenarien wie beispielsweise gezielt geplante Gartenbewässerung oder Steuerung eines Rasenmäherroboters möglich. Zunächst vermisst man mithilfe des Lidar-Sensors den Garten und steckt ein Gebiet ab, in dem gemäht oder bewässert werden soll. Der Sensor liefert außerdem Informationen über die Bodeneigenschaften und Hindernisse, wodurch der Mähroboter entsprechend reagieren kann.
Wie aus den Use-Cases ersichtlich wird, lässt sich der Lidar-Sensor sowohl im privaten als auch im gewerblichen Umfeld einsetzen. Durch die schnelle, präzise Vermessung und Weiterverarbeitung der Messwerte entstehen viele verschiedene Anwendungsformen.
Doch der Erfolg dieser Anwendungen scheint im engen Zusammenhang mit der Genauigkeit beim Scannen von Objekten, Räumen und Personen zu stehen.
Research & Development mit Lidar
Um die Machbarkeit dieser Ideen und ihre Herausforderungen abzuschätzen, haben wir eine Test-Applikation entwickelt, mit der wir die Messwerte des Lidar-Sensors überprüfen können.
Dafür haben wir Grenztests durchgeführt, bei denen die Test-App auf dem iPhone 12 Pro mithilfe des Lidar-Sensors den Abstand zwischen dem Device selbst und einem Objekt im Raum misst. Die Messwerte, die der Lidar-Sensor liefert, sind dabei unter anderem abhängig von der anvisierten Oberfläche. Je nach Oberflächenbeschaffenheit kann es vorkommen, dass die Werte weniger genau (siehe Tabelle: Accuracy) sind und von der tatsächlichen Entfernung (Ground Truth) zum Objekt abweichen.
Auch interessant: Das erste iPad mit Laser – iPad Pro 2020 getestet
Die Testanwendung bietet neben der Distanzmessung durch Anvisieren eines Punktes auch die Möglichkeit, ein virtuelles Objekt in der realen Welt zu platzieren und eine Distanzmessung zwischen Device und dem fixierten virtuellen Objekt vorzunehmen – auch wenn das Device in Bewegung ist. Bei dieser Art der Messung wird auf die Raycast-Methode des AR-Kits zugegriffen. Diese Methode prüft, ob und wo in der realen Welt Oberflächen existieren, um dort ein virtuelles Objekt platzieren zu können. Sofern eine Oberfläche gefunden und das virtuelle Objekt positioniert werden konnte, wird ausgehend von diesem Objekt die Entfernung zum Device berechnet. In der folgenden Tabelle haben wir eine Auswahl von Messergebnissen der beiden Methoden (iPad Lidar ohne und mit Raycast) gegen die tatsächliche Entfernung ausgewertet.
Die Ergebnisse zeigen, dass der Lidar-Sensor innerhalb von fünf Metern Distanzen gut bis sehr gut berechnen kann. Bei Entfernungen unter 14 Zentimetern werden die Messergebnisse allerdings zu ungenau, sodass ein Messfehler nicht ausgeschlossen ist.
Units in m | ||||||
Surface | Accuracy | Ground Truth | iPad LiDAR | Error LiDAR | iPad LiDAR Raycast | Error LiDAR Raycast |
Gray floor | Low Accuracy | 0,02 | 0,05 | -0,03 | Surface could not be detected | |
Gray floor | High Accuracy | 0,14 | 0,14 | 0 | 0,14 | 0 |
Concrete wall | High Accuracy | 0,22 | 0,22 | 0 | 0,22 | 0 |
White wall | High Accuracy | 0,39 | 0,39 | 0 | 0,39 | 0 |
Gray floor | High Accuracy | 0,49 | 0,49 | 0 | 0,5 | -0,01 |
Gray floor | High Accuracy | 0,58 | 0,58 | 0 | 0,59 | -0,01 |
White wall | High Accuracy | 1,05 | 1,05 | 0 | 1,08 | -0,03 |
Window | Low Accuracy | 1,05 | 2,6 | -1,55 | Surface could not be detected | |
Black steel barrel | High Accuracy | 1,05 | 1,05 | 0 | 1,08 | -0,03 |
Blue carpet | High Accuracy | 1,05 | 1,05 | 0 | 1,08 | -0,03 |
Concrete pillar | High Accuracy | 1,05 | 1,05 | 0 | 1,08 | -0,03 |
White wall | High Accuracy | 4,68 | 4,68 | 0 | 4,82 | -0,14 |
White wall | High Accuracy | 4,9 | 4,91 | -0,01 | 5,04 | -0,14 |
White wall | Low Accuracy | 5 | 5,1 | -0,1 | Surface could not be detected | |
White wall | Low Accuracy | 5,34 | 5,2 | 0,14 | 5,07 | 0,27 |
Fazit
Seit dem ersten Einsatz des Lidar-Sensors bei der Apollo-15-Mission auf dem Mond wurde die Technologie enorm weiterentwickelt. Sehr klein, handlich und schnell finden wir sie nun auch in unseren mobilen Devices wieder und können sie problemlos drinnen und draußen verwenden. Dank der vom Sensor ausgesandten Laserstrahlen können sowohl Räume als auch Menschen, Körper und andere Formen vermessen werden.
Für die hier vorgestellten Use-Cases ist die Messgenauigkeit des Lidar-Sensors in iPhone und iPad mehr als ausreichend. Damit hat das R&D gezeigt, dass dem Erfolg der Technologie, der auch durch die Genauigkeit der Messungen beeinflusst wird, nichts im Wege steht.
Die Lidar-Technologie bringt das Potenzial für spannende, weitreichende und auch lukrative Innovationen. Die Verfügbarkeit für eine breitere Zielgruppe wird interessante Anwendungsszenarien aufkommen lassen und unterschiedliche Fachbereiche digitisieren und digitalisieren.
Das kann ich soweit nur bestätigen, wir haben gerade eine App für Gartenvermessungen https://www.smarttoplan.com/ auf Basis des Lidar-Sensors gelauncht und die Messergebnisse sind bisher sehr gut, gerade wenn Laien messen deutlich bessere Ergebnisse als auf Devices ohne Lidar.
Ein Beispiel aus dem Agenturbereich: eine neu auf dem Markt gekommene Kamera soll per Display bei den Händlern optisch platziert werden.
Leider gibt es wie so oft nur eine Kamera ohne digitale Daten, als physikalisch vorhandenes Muster.
Da kann man den Lidar für die Gewinnung eines räumlichen Abbildes benutzen, um dem Kunden verschiedene Entwürfe anhand von „echten“ Ansichten zu präsentieren. Das geht im Verhältnis ratzfatz und lässt sich als Datenmodell z. B. in Shapr3d entsprechend einbinden.
Vor allem im Displaybereich ist dieses System Gold wert.