KI für Coder: Macher von Stable Diffusion starten Stablecode
In dieser Woche hat Stability AI die erste öffentliche Version von Stablecode angekündigt. Dabei handelt es sich um ein neues und offenes großes Sprachmodell (LLM), das Nutzer:innen bei der Generierung von Programm-Code helfen soll.
Stablecode wird es in drei verschiedenen Versionen geben. Stability AI bietet ein Basismodell für allgemeine Anwendungsfälle, ein Anweisungsmodell und ein Langkontext-Fenstermodell, das bis zu 16.000 Token unterstützen kann. Trainiert wurde Stablecode mit Programmiersprachdaten aus dem Open-Source-Projekt Bigcode.
Genutzt werden kann Stablecode zunächst für die Entwicklung in den Programmiersprachen Python, Go, Java, JavaScript, C, Markdown und C++.
„Wir möchten mit dieser Art von Modell etwas Ähnliches erreichen wie mit Stable Diffusion, das jedem auf der Welt geholfen hat, ein Künstler zu werden“, hat Christian Laforte, Forschungsleiter bei Stability AI, gegenüber Venturebeat verraten. „Wir möchten mit dem Stablecode-Modell dasselbe tun: im Grunde jedem, der gute Ideen hat (und) vielleicht ein Problem hat, die Möglichkeit geben, ein Programm zu schreiben, das genau dieses Problem löst.“
Dabei basiert Stablecode wie alle modernen generativen KI-Modelle auf einem neuronalen Transformer-Netzwerk. Anders als andere wie etwa Starcoder nutzt Stablecode nicht den ALiBi-Ansatz (Attention with Linear Biases), sondern verlässt sich auf Rotary Position Embedding (RoPE).
Laut Nathan Cooper, leitender Forscher bei Stability AI, neigt der ALiBi-Ansatz in Transformer-Modellen dazu, aktuelle Token stärker zu gewichten als vergangene Token. Das sei kein idealer Ansatz für Code, da Code im Gegensatz zu natürlicher Sprache keine feste narrative Struktur mit Anfang, Mitte und Ende hat. Code-Funktionen könnten vielmehr für jeden Punkt in einem Anwendungsablauf definiert werden. „Ich glaube nicht, dass sich Coding für die Idee eignet, die Gegenwart stärker als die Vergangenheit zu gewichten, daher verwenden wir […] RoPE, (das) nicht diese Art von Voreingenommenheit hat, bei der man die Gegenwart stärker als die Vergangenheit gewichtet.“
Nun muss sich zeigen, wie Entwickler:innen das neue Modell annehmen werden.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team