LegoGPT: Forscher entwickeln KI, die deine Lego-Ideen in baubare Anleitungen verwandelt
Lego-Steine: KI-Chatbot hilft dir jetzt bei neuen Projekten. (Foto: Shutterstock/3d_kot)
Schon seit Jahren sind Lego-Steine in der Forschung gern genutzte Objekte, etwa wenn es darum geht zu zeigen, wie aus einfachen Bausteinen komplexe Strukturen gebildet werden. Jetzt haben Forscher:innen der Carnegie Mellon University in Pittsburgh, im US-Bundesstaat Pennsylvania, einen KI-Chatbot entwickelt, der Lego-Bauanleitungen entwirft.
LegoGPT entwirft Bauanleitungen
Der LegoGPT getaufte Chatbot soll dabei auf einfache Prompts wie „eine klassische Gitarre“ oder „rustikale Steinbank mit Moosbewuchs“ reagieren. Auch Anweisungen zur Anpassung von Farben oder Formen setzt das KI-Tool auf Anfrage um, wie die Forscher:innen auf einer entsprechenden Homepage zeigen.
Die entstehenden Bauanleitungen können dabei von Hand nachgebaut werden – das Vorhandensein passender Lego-Steine vorausgesetzt. Laut dem Team ist es aber auch möglich, die Konstruktionen von Roboterarmen nachbauen zu lassen.
Der KI-Chatbot basiert auf dem Meta-LLM (großes Sprachmodell) Llama 3.2 Instruct 1B. Um die detaillierten geometrischen Beschreibungen zu generieren, setzt das Tool zudem auf GPT-4o von OpenAI.
Nur 21 Objektkategorien trainiert
Trainiert wurde LegoGPT mit über 47.000 Lego-Strukturen aus über 28.000 3D-Objekten sowie entsprechenden detaillierten Bildunterschriften und dem von den Forscher:innen entwickelten Code und eigenen Modellen. Beim Training wurden allerdings nur 21 Objektkategorien wie Bank, Bücherregal, Auto, Stuhl oder Gitarre berücksichtigt.
Bei der Erstellung der Bauanleitungen achtet LegoGPT den Forscher:innen zufolge darauf, dass die Pläne sich mit Standard-Lego-Steinen umsetzen lassen und zudem stabil sind. Die Stabilität wird etwa nach jedem Bauschritt unter die Lupe genommen. Sollte sich ein Teil der Struktur als nicht stabil herausstellen, soll diese noch einmal neu entworfen werden.
Interessierte können LegoGPT ausprobieren
Den Datensatz (StableText2Lego) und den entsprechenden Code haben die Forscher:innen bei Github veröffentlicht. Interessierte können LegoGPT zudem per Demo ausprobieren. Aufgrund des offenbar großen Andrangs kann es dabei aber ziemlich lange dauern – in unserem Fall fast eine Stunde –, bis aus dem Prompt eine Bauanleitung entsteht.
