Anzeige
Anzeige
News

1-Bit-Sprachmodelle sollen viele KI-Probleme lösen: Diese Vorteile bringen sie mit sich

LLM wie ChatGPT und Llama werden immer größer. Das bringt zwar deutlich mehr Funktionen, aber sorgt stetig für einen höheren Energie- und Speicherverbrauch sowie steigende Kosten. Einige Forscher:innen wollen dieses Problem mit Ein-Bit-Sprachmodellen lösen.

2 Min.
Artikel merken
Anzeige
Anzeige

Wie Ein-Bit-LLM die Welt der KI verändern können. (Bild: Kitinut Jinapuck/Shutterstock)

Künstliche Intelligenz steht vor einem großen Zukunftsproblem. Da die Modelle immer größer werden, steigen zeitgleich die Kosten für KI. Zudem wirkt sich KI immer stärker auf unsere Umwelt aus. Die Lösung könnten Ein-Bit-LLM sein, die deutlich kleiner, schneller und energieeffizienter sind.

Anzeige
Anzeige

Was unterscheidet 1-Bit-Sprachmodelle von anderen LLM?

Normalerweise speichern große Sprachmodelle ihre Parameter als 32- oder 16-Bit-Gleitkommazahlen. Das sorgt dafür, dass die Parameter präzise, aber bei Modellen mit drei Milliarden Parametern sehr speicherintensiv sind. Werden KI hingegen mit ungenaueren Parametern trainiert, leidet darunter die Präzision der Antworten. Doch wie Forscher:innen herausgefunden haben, können die Parameter gerundet und dadurch vereinfacht werden, ohne Performance zu verlieren.

Anzeige
Anzeige

Um solche Ein-Bit-Sprachmodell zu erzeugen, gibt es zwei Wege. Entweder nehmen Forscher:innen ein schon bestehendes Modell und vereinfachen die vorhandenen Parameter oder sie trainieren ein neues Sprachmodell mit den ungenaueren Parametern von Beginn an. Tatsächlich hat sich die erste Methode bei vielen Wissenschaftler:innen durchgesetzt, da dadurch keine neuen Trainingsdaten gesammelt werden müssen.

Das sogenannte Quantisieren komprimiert die Parameter und ersetzt etwa die komplexen Werte 0.2961, -0.0495 und 0.0413 stattdessen mit 1, -1 und 0. Die Parameterwerte nehmen dann nicht mehr jeweils 16 oder 8 Bit ein, sondern belaufen sich auf nur ein Bit. Obwohl die Ergebnisse im Detail ungenauer sind, ändert sich der Output der KI kaum.

Anzeige
Anzeige

Obwohl die Parameter einfacher sind, kann die KI mit den komplexeren KI-Parametern mithalten. (Bild: Microsoft Research Asia)

Was sind die Vorteile von 1-Bit-LLM?

Ergebnisse der Ein-Bit-LLM lassen sich bereits im Paper The Era of 1-Bit LLMS: All Large Language Models are in 1.58 Bits von Microsoft Research Asia sehen. In einem Vergleich mit dem großen Sprachmodell LLama brauchte Bitnet b1.58 nur einen Bruchteil des Speichers und hatte deutlich niedrigere Latenzen, ohne bei der Performance zurückzufallen.

Ein-Bit-Sprachmodelle sind aber nicht nur kleiner und schneller als ihre großen KI-Verwandten. Im Vergleich zu aktuellen LLM, die vor allem durch leistungsstarke GPU betrieben werden, könnten Ein-Bit-Sprachmodelle auch auf kleineren CPU laufen. So hat Bitnet 1.58b in ersten Tests etwa 94 Prozent weniger GPU-Energie benötigt. Laut Expert:innen könnte es für solche Modelle sogar eines Tages eigene Hardware geben, die nur für den Betrieb von Ein-Bit-LLM gedacht ist.

Anzeige
Anzeige

Das würde auch langfristig dazu beitragen, dass künstliche Intelligenz umweltfreundlicher wird. Wenn KI-Modelle nicht mehr auf ressourcenhungriger Hardware laufen müssen, reduzieren sich dadurch Stromverbrauch und CO2-Fußabdruck der LLM. Für Nutzer:innen hätte das außerdem den Vorteil, dass Modelle mit der Leistung von ChatGPT auch auf Endgeräten ohne Internetverbindung möglich wären.

15 lustige von KI generierte Bilder Quelle: Google
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige