Könnte man als Teller benutzen: Die Chips im Cerebras-Supercomputer. (Foto: Cerebras)
Das Silicon-Valley-Startup Cerebras Systems hat seinen neuen KI-Supercomputer namens Andromeda vorgestellt. Cerebras ist vor allem bekannt für seine tellergroßen Prozessoren namens Wafer Scale Engine (WSE-2).
Diese sind rund 8,5 Zoll groß und besitzen 2,6 Billionen Transistoren, die in 850.000 Kernen angeordnet sind. Der WSE-2 ist der momentan größte jemals hergestellte Siliziumchip. Der Supercomputer Andromeda besteht aus insgesamt 16 dieser unnormal großen Chips, wie es in einer Pressemitteilung des Unternehmens heißt.
Mit dieser Hardwarepower ausgestattet schafft Andromeda bis zu ein Exaflop an KI-Computing pro Sekunde basierend auf einer Genauigkeit des 16-Bit-Gleitkommaformats, laut Cerebras
Supercomputer kann aus der Ferne genutzt werden
Andromeda kann remote von Kunden und akademischen Forschern genutzt werden und ist bereits für echte Anwendungsfälle im Einsatz. Als Anwendungsfall nennt Cerebras große Sprachmodelle der GPT-Klasse. Dazu gehören GTP-3, GTP-J und GPT-Neox.
Der Supercomputer ist bereits im Einsatz. (Foto: Cerebras)
Solche Sprachmodelle nutzen Deep-Learning, um zum Beispiel Texte zu erstellen, zusammenzufassen oder zu übersetzen. Das Unternehmen sagt dazu, dass Andromeda eine „nahezu perfekte Skalierung” besitzt.
Das bedeutet, wenn neue Chips zum Supercomputer hinzugefügt werden, verkürzt sich die Trainingszeit für neuronale Netze in einem nahezu perfekten Verhältnis dazu. Mit Supercomputern, die auf GPUs basieren wie Nvidias A100, sei das nicht möglich.
35 Millionen Dollar Computer
Insgesamt hat der Supercomputer rund 35 Millionen US-Dollar gekostet und er steht in Santa Clara in Kalifornien. Damit ist Andromeda aber nicht der schnellste oder teuerste Supercomputer.
Frontier in den Oak Ridge National Labs schafft Berechnungen von einem Exaflop pro Sekunde auf Basis eines 64-Bit-Double-Precision-Formats. Das ist deutlich mehr Performance, dafür hat Frontier mit 600 Millionen Dollar aber auch deutlich mehr gekostet.
Cerebras tellergroßer Chip ist auch in Deutschland im Einsatz. Das Leibniz-Rechenzentrum (LRZ) der Bayerischen Akademie der Wissenschaften nutzt die Wafer Scale Engine 2 für medizinische Bildverarbeitung und Strömungsmechanik in der Luft- und Raumfahrttechnik.
