
Es gibt Lego-Sets, die Kinder in ein paar Minuten zusammengebastelt haben, und dann gibt es solche, an denen Erwachsene tagelang sitzen und verzweifeln. Sie alle eint dabei die Bedienungsanleitung, ohne die die meisten wohl aufgeschmissen wären.
Eine der größten Herausforderungen, wenn es darum geht, dass Maschinen lernen, mit Lego zu bauen, ist die Interpretation der zweidimensionalen Bilder der 3D-Modelle in den traditionellen gedruckten Bedienungsanleitungen, die in den Sets mitgeliefert werden.
Forscher der Stanford Universität haben jetzt ein lernbasiertes Framework, das sie Manual-to-Executable-Plan-Network nennen, entwickelt, das aus einem Haufen Lego-Steine ein auf einer handelsüblichen Anleitung basierendes Lego-Modell basteln kann.

Aus einer 2D-Anleitung kann die KI ein 3D-Legomodell generieren. (Screenshot: Stanford University)
Das neuronale Netzwerk muss nicht nur die 3D-Gestalt, -Form und -Struktur der einzelnen Teile, die im Handbuch für jeden Schritt extra erklärt werden, richtig interpretieren, sondern auch die Gesamtform der halbfertigen Modelle erkennen.
Die große Herausforderung ist dabei die Darstellung in der Anleitung, denn die Lego-Handbücher zeigen in vielen Schritten eine komplett andere Perspektive auf das Bauwerk als im vorherigen Step. Das Framework muss dann entschlüsseln, was es sieht und wie es mit dem 3D-Modell korreliert, das es bereits generiert hat.
Das Ziel dieser Forschung war es, die 2D-Bilder eines Lego-Handbuchs einfach in Montageschritte zu übersetzen, die eine Maschine funktional verstehen kann. Verwendet werden könnte die Forschung beispielsweise bei der Konvertierung alter Lego-Bedienungsanleitungen in die interaktiven 3D-Bauanleitungen, die jetzt in der mobilen Lego-App enthalten sind.
Denkbar ist auch ihr Einsatz, um ein besseres Verständnis der Übersetzung von 2D-Bildern in dreidimensionale Strukturen zu erhalten. Und wer weiß, vielleicht kann die KI eines Tages auch Ikea-Anleitungen verstehen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team