Schon im Mai 2024 hat Google Project Astra vorgestellt. Die Vision des Unternehmens war, einen KI-Assistenten zu erschaffen, der eure Umgebung sehen und für euch analysieren kann. Diese Vision hat Google jetzt wohl vollendet. Das Unternehmen hat die Neuerungen offiziell in einer Ankündigung bekannt gegeben und erste Beispiele für die Nutzung im Alltag gegeben.

So ist Gemini Live nach dem Update zunächst in der Lage, Bildschirminhalte eures Smartphones zu analysieren. Zwar geht das schon jetzt, wenn ihr einen Screenshot anfertigt und in der KI-App hochladet. Doch die neue Funktion ermöglicht das direkte Screensharing mit Gemini, sodass die KI auch Fragen zu sich verändernden Elementen auf dem Bildschirm beantworten kann.

Im ersten Test fragte der User Gemini Live etwa, welche Elemente die KI auf dem Bildschirm sehen kann. Gemini kann daraufhin wichtige Informationen wie das Datum und Wetter vorlesen. Besonders spannend: Gemini kann dadurch wohl auch Benachrichtigungen abrufen, die nicht direkt auf dem Bildschirm geöffnet wurden. So teilt die KI mit, dass sie eine Notifikation sieht, dass der User seit einigen Minuten mit Gemini Live spricht.

Doch wie schon erwähnt, soll Gemini Live durch das einstige Project Astra nicht nur nach innen, sondern auch nach außen schauen können. Ein erstes Teaser-Video zu dem Feature hatte Google schon Anfang März 2025 dazu hochgeladen. In dem Video öffnet die Userin ihre Kamera für Gemini Live und zeigt der KI ihre kürzlich getöpferten Werke. Sie fragt die KI, welche Farben sie dafür auswählen sollte. Gemini Live soll dabei Farben aussuchen, die nicht nur zum Stil der Vasen, sondern auch zu schon fertigen Werken passen.

Als weiteres Beispiel nennt Google die Reparatur von Objekten. Habt ihr etwa eine quietschende Tür oder einen kaputten Schreibtischstuhl, könnt ihr Gemini das Objekt zeigen und fragen, wo mögliche Probleme bestehen und wie ihr diese beheben könnt. Ferner könnt ihr laut Google Gemini auch eine unaufgeräumte Schublade abfilmen und Tipps bekommen, wie die darin befindlichen Objekte logisch geordnet werden können.

Google betont, dass die Funktion vorerst nur für Gemini-User:innen bereitstehen wird, die für die KI bezahlen. Dementsprechend seht ihr den Button für Video in Gemini Live nicht, wenn ihr nur einen kostenlosen Account nutzt. Eine Ausnahme bilden Besitzer:innen eines Google Pixel 9 (hier das Pro-XL-Modell im Test) oder eines Modells der Galaxy-S25-Reihe von Samsung (hier das Ultra-Modell im Test). Dort stehen die neuen KI-Features auch für alle bereit, die einen kostenlosen Gemini-Account haben.