Mehrere Professor:innen der Universität von Pennsylvania haben ein System erstellt, um in kürzester Zeit virtuelle und realistisch anmutende Räume zu erstellen. Um das zu erreichen, kombinieren sie große Sprachmodelle wie ChatGPT und eine Datenbank für Videospiel-Assets, wie Science Daily berichtet.

Das System erinnert dabei an das Holodeck aus Star Trek. In der Science-Fiction-Welt können die Crew-Mitglieder mit wenigen Worten komplett virtuelle Welten erstellen. Passenderweise haben die Forscher:innen ihr System ebenfalls „Holodeck“ getauft.

Laut den Forscher:innen gibt es kaum etwas Präziseres als Sprache, um die ganze Welt darzustellen. Deshalb nutzen sie Prompts in großen Sprachmodellen, um zunächst eine rein textliche Vorstellung des virtuellen Raumes zu schaffen. So sagen sie dem Sprachmodell etwa, dass sie gern eine Einzimmerwohnung mit Bad, Küche und einem kleinen Balkon erstellen wollen.

Das System erstellt zunächst die Maße der Räume, die genutzten Bodenbeläge, Farben für Wände. Im nächsten Schritt werden Türen und Fenster eingefügt. Danach greift das Holodeck auf Objaverse zu. Dabei handelt es sich um eine Datenbank für 3D-Assets, die auch in Videospielen genutzt werden. Hier findet das Holodeck dann virtuelle Schränke, eine Couch und Pflanzen, um die Wohnung mit Objekten zu füllen.

Damit das Holodeck nicht einfach eine Toilette auf dem Balkon platziert, haben die Forscher:innen über ein Layout-Modul Grenzen für die Objekte gesetzt. Sind alle Gegenstände platziert, ist die Aufgabe abgeschlossen und die virtuelle Wohnung könnte direkt per VR-Headset besucht werden. Neben Wohnräumen kann die KI auch Restaurants, Behandlungsräume oder Labore erstellen.

Schon jetzt zeigt das Holodeck vielversprechende Ergebnisse. In einer Studie wurde das neue System mit Proc-Thor verglichen, mit dem ebenfalls virtuelle Räume erstellt werden können. Student:innen wurden Bilder von virtuell erstellten Räumen aus dem Holodeck und Proc-Thor gezeigt. Sie sollten das Bild wählen, das ihnen am realistischsten vorkommt. Die Bilder aus dem Holodeck wurden von den Studienteilnehmer:innen am häufigsten gewählt.

Die Forscher:innen nutzen das Holodeck auch, um KI-Agenten – wie Roboter – zu trainieren. Mark Yatskar von der Universität Pennsylvania sagt dazu: „Der ultimative Test für das Holodeck ist es, Robotern dabei zu helfen, sicherer mit Umgebung zu interagieren, an denen sie noch nie zuvor waren.“

Auch hier zeigt sich schon jetzt, dass das Holodeck Potenzial hat. In einem Test wurde die Software von KI-Agenten auf die Suche nach einem Piano in virtuellen Musikzimmern geschickt. Ohne ein zusätzliches Training hat die Software der KI-Agenten das Piano nur in etwa sechs Prozent der Fälle gefunden. Nach dem Training mit etwa 100 über Holodeck erstellten Musikzimmern stieg die Erfolgsrate auf 30 Prozent.