Normalerweise kostet das Entwickeln einer KI ein Vermögen. Zumindest die Modelle, die bei großen KI-Unternehmen wie OpenAI, Meta und Anthropic entstehen. Dass es anders geht, zeigen jetzt Forscher:innen in einer Studie. Sie haben mit einem Trick eine KI erstellt, die es mit OpenAIs Modellen aufnehmen kann. Dabei haben sie lediglich 50 US-Dollar ausgegeben.

Das KI-Modell mit dem Namen s1 wurde von Forscher:innen der Stanford University erstellt. Wie Techchrunch berichtet, haben sie als Basis eine kostenlose KI des Unternehmens Qwen genutzt. Das Unternehmen gehört zu dem chinesischen Konzern Alibaba. Um dem KI-Modell Reasoning-Fertigkeiten wie bei OpenAI zu verleihen, haben sie Modelldestillation angewandt. Dabei lernt ein kleineres KI-Modell von den Antworten eines größeren Modells.

Im Falle von s1 war die Vorlage Googles Gemini 2.0 Flash Thinking Experimental. Ursprünglich hatten die Forscher:innen 59.000 Fragen an die KI gestellt und die Antworten ihrem s1-Modell gefüttert. Im Laufe der Entwicklung stellte sich allerdings heraus, dass schon eine deutlich geringere Anzahl an Fragen und Antworten zu gleichwertigen Ergebnissen bei der lernenden KI führten. So brauchte es am Ende nur 1.000 Fragen und die Antworten von Gemini, um s1 zu trainieren.

Dieser Vorgang soll lediglich 50 US-Dollar in Cloud-Computing-Credits und etwa 26 Minuten Zeit in Anspruch genommen haben, wie die Forscher:innen in ihrem Paper festhalten. Danach konnte s1 im Grunde die Antworten und „Denkweisen“ von Googles Gemini-Modell imitieren. So soll die KI laut den Forscher:innen in den Bereichen Mathematik und Coding auf dem Niveau von OpenAIs o1 und Deepseek R1 performen.

Um die Antworten der KI weiter zu verbessern, haben die Forscher:innen einen zweiten Trick angewandt: Bedenkzeit für s1. Durch sogenanntes Test-Time-Scaling zwingen die Forscher:innen die KI dazu, weiter über ihre Antwort nachzudenken, diese zu hinterfragen und mögliche Fehler im Laufe des Prozesses zu beheben.

Zwar liefert die Modelldestillation ähnliche Ergebnisse wie die KI, die zum Training genutzt wurde, doch es gibt dabei auch Probleme. Wie Techchrunch betont, erlaubt Google kein Reverse-Engineering von Gemini oder das Training von anderen künstlichen Intelligenzen, die damit konkurrieren könnten. Dementsprechend könnte auch s1 gegen die Nutzungsbedingungen verstoßen. Google hat sich allerdings bisher nicht zu den Forschungsergebnissen geäußert.

Zudem braucht es für solche Experimente immer eine Haupt-KI, die die notwendigen „Denkprozesse“ bereitstellt. Letztlich hat s1 also nicht nur eine halbe Stunde Arbeit und 50 US-Dollar in Anspruch genommen. Eigentlich müssten auch die Entwicklungskosten und die Trainingszeit von Google Gemini 2.0 Flash Thinking Experimental einberechnet werden.