Lidar ist eine Abkürzung und steht für „Light Detection and Ranging“. Die radarähnliche Technologie wird seit den 1960er Jahren zum Scannen und Kartografieren von Umgebungen genutzt. Anders als beim Radar werden für Lidar aber keine Radiowellen, sondern Laserstrahlen verwendet, um Entfernungen zu messen.

Anfänglich wurde die Technologie für militärische Zwecke in Flugzeugen verwendet. Bekanntheit erlangte Lidar vor allem, als das System in den 70er Jahren bei der Apollo-15-Mission beim Kartografieren der Mondoberfläche zum Einsatz kam. Seitdem wurden die Systeme kleiner, billiger und genauer – und mittlerweile zu einer guten Ergänzung für mobile Endgeräte.

Das Lidar-System, das in den beiden Pro-Versionen des iPhone 12 wie auch im iPad Pro 2020 verbaut ist, scannt seine Umgebung, indem es über einen kurzen Zeitraum eine Folge von Laser-Impulsen auf verschiedene Teile einer Szene abfeuert. Dabei wird die Zeit gemessen, die das vom Laser ausgesandte Licht benötigt, um auf ein Objekt zu treffen und wieder zurückzukehren. Durch die vom Objekt reflektierten Lichtpartikel wird nicht nur die Entfernung berechnet, sondern auch ein nahezu exaktes Ebenbild des Gegenstandes abgebildet.

Im Gegensatz zu „scannerlosen“ Systemen, die 3D-Abbildungen mithilfe eines einzigen Infrarot-Lichtimpulses erstellen, ermöglichen die Laserimpulse des Lidar-Scanners nicht nur eine Steigerung der Reichweite von bis zu fünf Metern, sondern auch eine bessere Objekt-Okklusion. Das bedeutet, dass virtuelle Objekte hinter realen Objekten versteckt werden können. Damit gehört die Lidar-Technik zur Gattung der „Time of Flight“-Sensoren, die im Smartphone bisher vor allem zur Verbesserung von künstlichen Fotoeffekten wie Augmented Reality verwendet werden.

Der Lidar-Scanner ist bisher vor allem für raumbezogene Anwendungen ausgelegt, wie beispielsweise für diverse Maßband-, Möbel- oder Shopping-Applikationen. Diese Funktionen sollten einigen User:innen bereits aus den technisch etwas ungenaueren AR-Apps bekannt sein.

Doch ist der Zenit dieser Technologie damit bereits erreicht? Mit welchen Anwendungsszenarien lässt sich die Technologie verbinden, sodass ein Mehrwert zusätzlich zum „digitalen Maßband“ entsteht? Im Folgenden werfen wir einen Blick auf unterschiedliche Use-Cases, die sowohl im privaten als auch im industriellen Bereich umgesetzt werden könnten. Wir wollen sowohl das theoretische als auch das praktische Potenzial des Sensors im Smartphone testen.

Blicken wir zunächst auf das bereits erwähnte, gängigste Anwendungsgebiet des Lidar-Sensors in Applikationen: die Wand- und Raumvermessung. Dabei werden Erhebungen oder Aussparungen präzise erkannt und problemlos von der erfassten Fläche abgezogen.

Die so gewonnen Daten und Informationen können benutzt werden, um etwa eine Küche zu planen, die optimal an den Raum angepasst ist. So kann der Lidar-Sensor helfen, den verfügbaren Platz an den Wänden effektiv zu nutzen.

Vor allem bei der Gestaltung von Innenräumen kann Lidar einige nützliche Funktionen ermöglichen: Es wäre denkbar, dass User:innen mithilfe ihres Smartphone-Sensors einen Raum oder eine Wand vermessen. Daraufhin wird ihnen die berechnete Fläche der Wand in Quadratmetern angezeigt sowie der etwaige Farbverbrauch und ein empfohlenes Werkzeug zum Streichen. Gleichzeitig ist es möglich, verschiedene Farbtöne für die Wand live zu testen. Dabei werden Objekte, die vor der Wand stehen, erkannt und problemlos von der projizierten Farbfläche abgezogen.

Da der Lidar-Sensor sowohl in Innenräumen als auch im Freien einsatzfähig ist, kann er ebenfalls zur Unterstützung der Gartenpflege eingesetzt werden. Hier sind Anwendungsszenarien wie beispielsweise gezielt geplante Gartenbewässerung oder Steuerung eines Rasenmäherroboters möglich. Zunächst vermisst man mithilfe des Lidar-Sensors den Garten und steckt ein Gebiet ab, in dem gemäht oder bewässert werden soll. Der Sensor liefert außerdem Informationen über die Bodeneigenschaften und Hindernisse, wodurch der Mähroboter entsprechend reagieren kann.

Wie aus den Use-Cases ersichtlich wird, lässt sich der Lidar-Sensor sowohl im privaten als auch im gewerblichen Umfeld einsetzen. Durch die schnelle, präzise Vermessung und Weiterverarbeitung der Messwerte entstehen viele verschiedene Anwendungsformen.

Doch der Erfolg dieser Anwendungen scheint im engen Zusammenhang mit der Genauigkeit beim Scannen von Objekten, Räumen und Personen zu stehen.

Um die Machbarkeit dieser Ideen und ihre Herausforderungen abzuschätzen, haben wir eine Test-Applikation entwickelt, mit der wir die Messwerte des Lidar-Sensors überprüfen können.

Dafür haben wir Grenztests durchgeführt, bei denen die Test-App auf dem iPhone 12 Pro mithilfe des Lidar-Sensors den Abstand zwischen dem Device selbst und einem Objekt im Raum misst. Die Messwerte, die der Lidar-Sensor liefert, sind dabei unter anderem abhängig von der anvisierten Oberfläche. Je nach Oberflächenbeschaffenheit kann es vorkommen, dass die Werte weniger genau (siehe Tabelle: Accuracy) sind und von der tatsächlichen Entfernung (Ground Truth) zum Objekt abweichen.

Auch interessant: Das erste iPad mit Laser – iPad Pro 2020 getestet

Die Testanwendung bietet neben der Distanzmessung durch Anvisieren eines Punktes auch die Möglichkeit, ein virtuelles Objekt in der realen Welt zu platzieren und eine Distanzmessung zwischen Device und dem fixierten virtuellen Objekt vorzunehmen – auch wenn das Device in Bewegung ist. Bei dieser Art der Messung wird auf die Raycast-Methode des AR-Kits zugegriffen. Diese Methode prüft, ob und wo in der realen Welt Oberflächen existieren, um dort ein virtuelles Objekt platzieren zu können. Sofern eine Oberfläche gefunden und das virtuelle Objekt positioniert werden konnte, wird ausgehend von diesem Objekt die Entfernung zum Device berechnet. In der folgenden Tabelle haben wir eine Auswahl von Messergebnissen der beiden Methoden (iPad Lidar ohne und mit Raycast) gegen die tatsächliche Entfernung ausgewertet.

Die Ergebnisse zeigen, dass der Lidar-Sensor innerhalb von fünf Metern Distanzen gut bis sehr gut berechnen kann. Bei Entfernungen unter 14 Zentimetern werden die Messergebnisse allerdings zu ungenau, sodass ein Messfehler nicht ausgeschlossen ist.

Units in m
Surface	Accuracy	Ground Truth	iPad LiDAR	Error LiDAR	iPad LiDAR Raycast	Error LiDAR Raycast
Gray floor	Low Accuracy	0,02	0,05	-0,03	Surface could not be detected
Gray floor	High Accuracy	0,14	0,14	0	0,14	0
Concrete wall	High Accuracy	0,22	0,22	0	0,22	0
White wall	High Accuracy	0,39	0,39	0	0,39	0
Gray floor	High Accuracy	0,49	0,49	0	0,5	-0,01
Gray floor	High Accuracy	0,58	0,58	0	0,59	-0,01
White wall	High Accuracy	1,05	1,05	0	1,08	-0,03
Window	Low Accuracy	1,05	2,6	-1,55	Surface could not be detected
Black steel barrel	High Accuracy	1,05	1,05	0	1,08	-0,03
Blue carpet	High Accuracy	1,05	1,05	0	1,08	-0,03
Concrete pillar	High Accuracy	1,05	1,05	0	1,08	-0,03
White wall	High Accuracy	4,68	4,68	0	4,82	-0,14
White wall	High Accuracy	4,9	4,91	-0,01	5,04	-0,14
White wall	Low Accuracy	5	5,1	-0,1	Surface could not be detected
White wall	Low Accuracy	5,34	5,2	0,14	5,07	0,27

Seit dem ersten Einsatz des Lidar-Sensors bei der Apollo-15-Mission auf dem Mond wurde die Technologie enorm weiterentwickelt. Sehr klein, handlich und schnell finden wir sie nun auch in unseren mobilen Devices wieder und können sie problemlos drinnen und draußen verwenden. Dank der vom Sensor ausgesandten Laserstrahlen können sowohl Räume als auch Menschen, Körper und andere Formen vermessen werden.

Für die hier vorgestellten Use-Cases ist die Messgenauigkeit des Lidar-Sensors in iPhone und iPad mehr als ausreichend. Damit hat das R&D gezeigt, dass dem Erfolg der Technologie, der auch durch die Genauigkeit der Messungen beeinflusst wird, nichts im Wege steht.

Die Lidar-Technologie bringt das Potenzial für spannende, weitreichende und auch lukrative Innovationen. Die Verfügbarkeit für eine breitere Zielgruppe wird interessante Anwendungsszenarien aufkommen lassen und unterschiedliche Fachbereiche digitisieren und digitalisieren.