Um den Umgang mit moderner Hardware immer intuitiver zu gestalten, arbeitet Google seit Jahren an Möglichkeiten der proaktiven Erkennung menschlicher Verhaltensweisen. Die Geräte sollen Handlungen vorschlagen oder sogar Aktionen verrichten, ohne dass die Nutzenden dabei aktiv manuell tätig werden müssen. So sollen Smartphones und andere Devices immer „menschlicher“ werden.

Google bezeichnet das dazu erforderliche neue Set von Fähigkeiten als „Interaktionssprache“. Am 2. März 2022 hat Google einen ersten tieferen Einblick in den Stand der Entwicklung gegeben. In der ersten Folge einer neuen Serie mit dem Titel „In the Lab with Google ATAP“ stellt das Unternehmen eine Reihe von Bewegungen vor, die es in seiner neuen Interaktionssprache definiert hat. ATAP steht für „Advanced Technology and Projects“ und ist der Name einer experimentellen Abteilung, die neue Hardware entwickeln soll.

Die Idee hinter der „Interaktionssprache“ besteht darin, Geräten zu ermöglichen, nonverbale Signale zu verstehen. Wie ATAP-Designerin Lauren Bedal gegenüber Engadget erläutert, sollen sich die uns umgebenden Geräte wie „beste Freunde“ anfühlen und ergänzt: „Sie sollten soziale Anmut besitzen.“

Bislang ist die „Interaktionssprache“ noch recht reduziert. Aktuell konzentrieren sich die Forschenden darauf, menschliche Bewegungen (im Gegensatz zu Stimmtönen oder Gesichtsausdrücken) zu interpretieren. So sollen sie feststellen, ob wir zur Interaktion bereit sind. Auf diese Weise sollen die Geräte erkennen, wann sie uns mit Informationen versorgen und wann sie uns in Ruhe lassen sollten.

Dazu setzt das ATAP-Team bislang auf den schon in verschiedenen Google-Geräten verbauten Soli-Radarsensor. Der kann die Nähe, die Richtung und die Wege der Menschen in seiner Umgebung erkennen. In einem weiteren Schritt analysiert ein Algorithmus diese Daten, um festzustellen, ob jemand den Sensor anschaut, an ihm vorbeigeht, sich ihm nähert oder sich ihm zuwendet.

Ebendiese vier Bewegungen hat Google jetzt formalisiert. Sie werden als Annäherung (Approach), Blick (Glance), Drehung (Turn) und Vorbeigehen (Pass) bezeichnet und können als Auslöser für Befehle oder Reaktionen auf Dingen wie Smart Displays oder anderen Arten von Umgebungscomputern verwendet werden. Erste Versuche hatte Google schon mit dem Smartphone Pixel 4 unternommen. Das hatte über eine Funktion namens Motion Sense verfügt. Darüber konnten Nutzende mit einer Winkbewegung den Wecker in den Schlummermodus versetzen. Ebenso konnte das Smartphone geweckt werden, wenn eine Hand sich ihm näherte.

Googles neuer Nest Hub nutzt seine Kamera, um zu erkennen, wann ihr der Linse die offene Handfläche zeigt – und hält daraufhin die Medienwiedergabe an. Wie das Pixel 4 weiß auch der Nest-Hub, dass ihr in der Nähe seid und zeigt euch daraufhin anstehende Termine oder Erinnerungen an. Er kann Touch-Befehle auf einem Countdown-Bildschirm anzeigen und dabei zu einer größeren, leicht lesbaren Schrift wechseln, wenn er euch weiter weg vom Gerät wähnt.

Die Blick-Bewegung (Glance) wirkt zwar auf den ersten Blick der Annäherung ähnlich, kommt aber nur dann ins Spiel, wenn mehrere Geräte um die Aufmerksamkeit des Nutzenden buhlen. „Angenommen, Sie telefonieren mit jemandem und schauen zufällig auf ein anderes Gerät im Haus“, erläutert Bedal. „Da wir wissen, dass Sie Ihre Aufmerksamkeit auf ein anderes Gerät gerichtet haben, können wir Ihnen vorschlagen, das Gespräch auf einen Videoanruf zu verlagern. Glance kann auch verwendet werden, um schnell einen Informationsausschnitt anzuzeigen.“

Die Turn-Bewegung soll etwa zur Signalisierung der Bereitschaft, sich einem nächsten Bearbeitungsschritt zuzuwenden, eingesetzt werden. Und der Vorbeigehen-Befehl zeigt dem Algorithmus ganz profan, dass der Mensch gerade kein Interesse an einer Interaktion hat.

Dabei besteht die größte Herausforderung, der sich das ATAP-Team ausgesetzt sieht, gar nicht so sehr in den Algorithmen. Vielmehr sind es die Sensoren, die dem Team Sorge machen. Denn die filigranen Bewegungen, die die Grundlage für die Geräteaktionen sind, müssen haargenau erkannt werden. Denn wenn ein ungenauer Sensor etwa dazu führt, dass statt einer Annäherung ein Vorbeigehen erkannt wird, ist das Nutzererlebnis vorprogrammiert mies.

Es ist indes nicht zu erwarten, dass uns diese Form von Frustration in nächster Zukunft trifft. ATAP-Designerin Bedal betont: „Woran wir arbeiten, ist reine Forschung. Wir konzentrieren uns nicht auf die Produktintegration.“ Vielmehr sollen die ATAP-Einblicke nur zeigen, was die Zukunft bringen könnte.