Das hier fällt in die Kategorie „unnötiges Problem“: Forscher:innen um Studienleiterin und Informatikprofessorin Haitao Zheng von der Universität von Chicago im US-Bundesstaat Illinois haben eine künstliche Intelligenz darauf trainiert, Handbewegungen von VR-Avataren in Metas Horizon Workroom, der virtuellen Büroumgebung des Ex-Facebook, zu erkennen.
Merke: KI hat sehr gute Augen und eine Menge Trainingsdaten
Das Ergebnis: Die KI kann Passwörter und andere sensible Informationen in der virtuellen Realität anhand der Handbewegungen des Avatars stehlen, wenn die echte Person hinter dem Avatar auf einer physischen Tastatur tippt. Die KI nutzt die sichtbaren Handbewegungen, um die Tastenanschläge zu rekonstruieren, die der Benutzer des Avatars im Laufe kurzer Schreibsitzungen getippt hat.
„Man muss die Person nicht einmal kennen“, erläutert Haitao Zheng: „Solange man sich mit ihr in denselben VR-Raum begeben kann, ist sie fertig.“ Zheng und ihre Kolleg:innen konnten mehrere Tastaturinferenz-Angriffe in der virtuellen Realität zeigen.
Darunter waren einige, die auf Daten aus dem VR-Headset der Zielperson zugreifen. Bei der einfachsten Methode reichte es indes, dass der Angreifer denselben virtuellen Raum wie die Zielperson betreten und die Handbewegungen des Avatars der Zielperson visuell aufzeichnen konnte.
Zwar konnten die Sensoren des VR-Headsets die Fingerbewegungen nicht perfekt erfassen. Dennoch gelang es dem Forschungsteam, separate KI-Modelle zu trainieren, die Tastenbewegungen erkennen, einzelne Fingerspitzen identifizieren und sogar die getippten Tasten vorhersagen können.
Der KI-Angriff erkannte daraufhin bei 13 von 15 Personen zwischen 86 und 98 Prozent der getippten Tasten. Bei den verbleibenden zwei Personen gelang die Erkennung der Tastenanschläge durch die KI nicht, weil die Zielpersonen zu viel Rauschen erzeugten.
Gegenstrategie: Daten müssen verrauscht werden
Letzteres ist dann eben auch die Gegenstrategie, die – man wundert sich – von VR-Software-Herstellern bislang nicht bedacht wurde. Dabei wäre es sehr einfach, ein verschleierndes Rauschen umzusetzen. Letztlich könnte man sogar dafür sorgen, dass reale und virtuelle Tastenanschläge gar keinen visuellen Zusammenhang haben.
Die Tatsache, dass dieser Angriff bei etlichen Nutzer:innen mit unterschiedlichen Tippmustern in gleicher Weise funktionierte, sei „besonders alarmierend“, findet Amro Awad von der North Carolina State University im US-amerikanischen Raleigh. Allerdings werde die Demonstration der Schwachstelle „den Anbietern von VR-Software helfen, Richtlinien zur Wahrung der Privatsphäre zu entwickeln“.
Auf der Konferenz Usenix Security 2024 soll das Projekt näher vorgestellt werden.