KI auf einem 20 Jahre alten Apple-Laptop: Wie sich das Gerät im Vergleich zu moderner Hardware schlägt
Immer mehr Programmierer:innen suchen die Herausforderung, KI auf möglichst alter Hardware zum Laufen zu bringen. Im vergangenen Jahr gab es etwa einen Coder, der KI auf dem C64 möglich gemacht hat. Jetzt hat sich ein weiterer Programmierer ausgetobt und einen alten Apple-Laptop für generative KI genutzt.
Wie generative KI auf alter Apple-Hardware läuft
Genauer gesagt, handelt es sich dabei um den Programmierer Andrew Rossignol und sein altes Powerbook G4, wie er in einem Blog-Beitrag festhält. Die Notebookreihe wurde 2001 von Apple auf den Markt gebracht. Das Modell von Rossignol wurde erst später gekauft, hat aber dennoch den namensgebenden PowerPC-G4-Prozessor mit einer Taktrate von 1,5 Gigahertz an Bord. Dazu kommt ein Gigabyte Arbeitsspeicher.
Um die alte Hardware nicht zu überfordern, nutzte der Programmierer das llama2.c-Projekt von Andrej Karpathy. Darüber lässt sich Llama2 mit nur einer einzigen Datei in der Programmiersprache C implementieren. An dem Projekt hat Rossignol noch ein paar Verbesserungen für sein Vorhaben vorgenommen. Für erste Tests auf dem Apple Powerbook G4 nutzte er zunächst Llama2 mit 15 Millionen Parametern.
Als die ersten Tests vielversprechende Ergebnisse zeigten, erhöhte er die Anzahl der Parameter auf 110 Millionen. Um einen Vergleichswert aufzustellen, hat er dieselbe Vorgehensweise zunächst bei einem aktuelleren Laptop mit einem Intel Xeon Silver 4216 Prozessor mit insgesamt 3,2 Gigahertz angewandt. Llama2 war so in der Lage, 6,91 Token pro Sekunde zu generieren. Das Erstellen einer Kurzgeschichte für Kinder dauerte so 26,5 Sekunden.
Wie erwartet, ist das alte Powerbook G4 deutlich langsamer. Hier konnte Llama2 nur 0,77 Token pro Sekunde erstellen. Allerdings gab der Programmierer nicht direkt bei diesem Ergebnis auf. Er nutzte AltiVec, eine Erweiterung für G4-Prozessoren, über die sich mehrere Operationen parallel lösen lassen, statt sie einzeln abzuarbeiten. Dadurch konnte die Geschwindigkeit immerhin auf 0,88 Token pro Sekunde erhöht werden.
Abschließend sagt Andrew Rossignol, dass das Projekt zwar viel Spaß gemacht hätte, aber er keinen Weg sieht, es fortzusetzen. Eine erneute Erhöhung der Parameter würde dazu führen, dass sich die Geschwindigkeit um ein Vielfaches verringert und fernab von nutzbaren Ergebnissen landen würde. Künftig will er das Powerbook G4 aber weiter nutzen – um seine Musik auf dem iPod zu organisieren und anzuhören.
