Anzeige
Anzeige
Fundstück

KI-Nostalgie: Llama 2 Sprachmodell meistert den Betrieb auf einem Windows 98 Rechner

Moderne KI-Modelle erfordern einiges an Rechenleistung. Doch kleinere Modelle können auf alten Systemen betrieben werden. Das beweisen jetzt Programmierer:innen, die eine Version von Llama auf einem alten Windows-98-Rechner zum Laufen gebracht haben.

2 Min.
Artikel merken
Anzeige
Anzeige
KI-Modelle können auch auf einem alten PC betrieben werden. (Bild: Shutterstock/Gorodenkoff)

Viele KI-Unternehmen wie OpenAI, Google und Meta haben in den vergangenen Jahren ihre Modelle immer weiter nach oben skaliert. Um die großen Sprachmodelle mit Milliarden Parametern zu betreiben und für alle Nutzer:innen gleichzeitig zur Verfügung zu stellen, benötigt es eine enorme Rechenleistung. Doch was, wenn wir diese gar nicht hätten, sondern immer noch mit alter Technik unterwegs wären?

Anzeige
Anzeige

So sieht ein Sprachmodell unter Windows 98 aus

Diese Frage hat sich auch die Programmierer:innen bei EXO Labs gestellt. Sie haben sich kurzerhand einen alten Windows-98-Rechner besorgt, um das auszuprobieren. Die Hardware ist laut einem Blog-Beitrag mehr als 25 Jahre alt. Auf Ebay haben die Verantwortlichen dafür noch rund 119 britische Pfund gezahlt. Im Inneren der Windows-98-Maschine steckt ein Intel Pentium II sowie 128 Megabyte Arbeitsspeicher.

Im Vergleich mit heutigen Heimcomputern ist das natürlich schon eine verschwindend geringe Leistung. Vergleichen wir das Ganze mit KI-Rechenzentren, deren Stromverbrauch immer weiter in die Höhe schnellt, scheint das Vorhaben schon fast unmöglich. Doch tatsächlich kann auf dem Rechner mit ein paar Handgriffen eine kleine Version von Llama 2 mit insgesamt 260.000 Parametern betrieben werden.

Anzeige
Anzeige

Die Handgriffe umfassen dabei etwa das Anschließen alter PS/2-Hardware, weil die vorhandenen USB-Ports nicht funktionierten. Danach wurde Llama 2 per FTP auf den PC übertragen. Auch das war nur eine Notlösung, weil Discs vom PC nicht erkannt wurden und die vorhandene Festplatte mit vier Terabyte Speicher zu groß für das Dateisystem FAT32 unter Windows 98 war.

Das Resultat: Mit dem alten Windows 98 lassen sich mit dem 260K-Modell rund 40 Tokens pro Sekunde generieren. Die Programmierer:innen reizten die alte Hardware aber auch mit einem Sprachmodell mit 15 Millionen Parametern aus. Hier geriet die Hardware dann doch ins Schwitzen und generierte nur einen Token pro Sekunde. Anhand eines Benchmarks errechneten die Programmierer:innen noch, wie lang der Windows-98-PC mit einem Modell von Llama 3.2 und damit einer Milliarde Parameter auskommen würde. Das Ergebnis ist mit 0,0093 Token pro Sekunde aber für die ernsthafte KI-Nutzung unbrauchbar.

Anzeige
Anzeige

Mit diesen Tools könnt ihr auch lokal eine KI betreiben

Lokale KI: Mit diesen 6 Tools kein Problem Quelle: Midjourny / t3n
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare

Community-Richtlinien

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige