Statt teurer GPUs: Dieses Startup trainiert seine KI mit billigen Gaming-Grafikkarten
Unternehmen wie OpenAI besitzen eine ganze Armada an Grafikkarten, über die Modelle für ChatGPT und Sora trainiert werden. 2024 soll das Unternehmen rund 720.000 H100-GPUs von Nvidia besessen haben. Je nach genauem Modell kosten diese Grafikkarten jeweils um die 30.000 Euro. Ein Startup will jetzt beweisen, dass das Training von KI nicht teuer sein muss, um gute Ergebnisse zu erzielen.
Fastino setzt auf KI-Training mit günstigen Grafikkarten
Wie Techcrunch berichtet, nutzt das Startup Fastino dafür günstige Gaming-GPUs, die zusammen weniger als 100.000 US-Dollar kosten sollen. Damit trainiert das Startup sogenannte TLMs. Im Gegensatz zu großen Sprachmodellen handelt es sich hierbei um Task-Specific-Language-Models, also KI-Modelle, die nur bestimmte Aufgaben erfüllen sollen.
Fastino bietet Unternehmenskund:innen dadurch etwa KI-Modelle, die Texte zusammenfassen, beim kreativen Schreiben unterstützen oder sensible Daten zensieren. Durch die geringere Größe der Modelle können sie auch auf schwächerer Hardware eingesetzt werden und dabei schnelle Antworten liefern. Ash Lewis, CEO und Mitgründer von Fastino, sagt dazu: „Unsere Modelle sind schneller, präziser, kosten im Training nur einen Bruchteil und können dennoch einige Flaggschiffmodelle bei spezifischen Aufgaben übertreffen“.
Einen weiteren Vorteil, den sich Fastino auf die Fahnen schreibt, sind die Kosten für Kund:innen. Statt für jedes Input- und Output-Token zu bezahlen, bietet das Startup feste Preise für seine Abostufen an. Während ein kostenloser Plan 10.000 Anfragen pro Monat erlaubt, sind es beim Pro-Modell für 45 Dollar im Monat schon 100.000 Anfragen sowie der Zugriff auf bessere Modelle und ein größeres Kontextfenster für die Modelle. Das teuerste Abomodell richtet sich an noch größere Unternehmen und bietet für 1.275 Dollar im Monat drei Millionen Anfragen.
Schon jetzt soll das Startup einige Kund:innen gewonnen haben, die von den Ergebnissen begeistert sind. Details verrät Fastino allerdings bisher nicht dazu. Zudem konnte das Startup einige Investor:innen von der Idee überzeugen. Zuletzt hat Fastino eine Finanzierungsrunde abgeschlossen, bei der 17,5 Millionen Dollar zusammengekommen sind. In Verbindung mit vorherigen Runden kommt das Unternehmen mittlerweile auf rund 25 Millionen Dollar durch Investor:innen wie Khosla Ventures.
