Hinter verschlossenen Türen arbeitet KI-Hersteller OpenAI an einem neuen Projekt namens Strawberry. Noch ist das Projekt streng geheim. Allerdings gibt es einige Leaks, die uns schon mehr zum Release und zu den Fertigkeiten der OpenAI-KI verraten.
Was ist Strawberry von OpenAI?
Grundsätzlich handelt es sich bei Strawberry um eine neue KI von OpenAI. Wie ersten Insider-Informationen zu entnehmen ist, soll die künstliche Intelligenz in der Lage sein, komplexere Aufgaben zu lösen, als es ChatGPT derzeit kann – ohne dabei zu halluzinieren.
Strawberry soll außerdem in der Lage sein, Aufgaben zu lösen, zu denen keine spezifischen Trainingsdaten vorliegen. Dazu zählen mathematische Probleme oder tiefgreifende Themengebiete, die die KI zuvor noch nicht trainiert hat. Auch ohne dieses „Wissen“ soll die KI verlässliche Lösungen bieten.
Zunächst wurde Strawberry wohl entwickelt, um OpenAIs nächstes KI-Projekt namens Orion zu trainieren. Dabei handelt es sich wohl um die nächste Flaggschiff-KI von OpenAI. Strawberry soll für Orion hochwertige synthetische Daten bereitstellen und damit das Risiko von Halluzinationen der neuen KI eliminieren.
Allerdings hat sich OpenAI laut Insider:innen mittlerweile dazu entschieden, eine destillierte Version von Strawberry in ChatGPT zu implementieren. So könnten wir die neue KI also auch als Chatbot ausprobieren und auf die Probe stellen, sobald sie verfügbar ist.
Wann wir mit Strawberry rechnen können
Laut den Informationen der Insider:innen können wir schon im Herbst 2024 mit Strawberry rechnen. Schon im Sommer 2024 soll OpenAI die KI Verantwortlichen der NSA präsentiert haben. Dementsprechend wäre ein baldiger Release nicht allzu abwegig. Noch muss sich der Release-Zeitraum allerdings bestätigen. OpenAI hält sich weiterhin bedeckt, wenn es um Strawberry geht.
Wofür wir Strawberry nutzen können
Sollte eine Chatbot-Version von Strawberry erscheinen, könnten wir die KI für eine Vielzahl von Aufgaben nutzen. Dazu zählen die erwähnten mathematische Aufgaben, aber auch Programmierherausforderungen sowie das Beantworten technischer Fragen. Laut Insider:innen soll Strawberry dabei zwar etwas mehr Zeit benötigen als ChatGPT, aber dafür tiefgreifendere Antworten liefern.
Das liegt wohl daran, dass die KI die Aufgaben strategisch angeht und sich einen Weg zur Lösung bereitlegt. So soll Strawberry in der Lage gewesen sein, das Connection-Worträtsel der New York Times zu lösen. Zudem wären durch diese Herangehensweise auch detailliertere Antworten auf sehr subjektive Themengebiete möglich. So soll die KI etwa Marketing-Strategien für bestimmte Produkte entwickeln können.
Was Strawberry für ChatGPT und OpenAI bedeuten könnte
Wolfgang Stieler, Redakteur für KI, Robotik und Physik bei MIT Technology Review, hat seine Expertenmeinung zu den Auswirkungen von Strawberry auf ChatGPT und andere Sprachmodelle zusammengefasst und zusätzlich im Podcast besprochen:
Mathematische Aufgaben zu lösen, könnte sich tatsächlich als Schlüssel erweisen, um große Sprachmodelle auf ein neues Level zu heben. Denn Sprachmodelle wie ChatGPT sind erst einmal nur darauf trainiert worden, Sätze zu produzieren, indem sie das nächste Wort vorhersagen, das statistisch betrachtet am besten zum Prompt passt. Damit kann es zwar auch lernen, Antworten auf Fragen wie „Was ist 2 + 2“ zu geben. Aber das Sprachmodell rechnet nicht. Es hat nur gelernt, dass die Antwort 4 am häufigsten in den Trainingsdaten enthalten ist. Bei komplexen Aufgaben – und komplex kann für Sprachmodelle schon ein Dreisatz sein – kommt ein zweites Problem dazu: Sprachmodelle arbeiten sequenziell von Input zu Output. Sie erzeugen ihre Antworten Wort für Wort, können diese aber nicht rückwirkend anpassen.
Symbolische KI kann so etwas zwar, aber erstens ist sie ist nicht so flexibel wie große Sprachmodelle. Und zweitens ist es sehr wahrscheinlich, dass OpenAI erst einmal versuchen wird, das besser zu machen, was es schon sehr gut kann, also große Sprachmodelle zu verbessern. Ein mittlerweile weitverbreiteter Ansatz dazu sind sogenannte Chain-of-Thought-Verfahren (CoT), in denen man die KI-Modelle mit gezieltem Prompting und geeigneten Beispielen dazu bringt, beim Beantworten der Anfragen schrittweise zu arbeiten.
Zu diesen Überlegungen passt, dass der neue OpenAI-Ansatz einer von Stanford-Forschern entwickelten Methode namens Self-Taught Reasoner (Star) ähneln soll. Die Idee dahinter ist, Sprachmodellen beizubringen, Begründungen für ihre Antworten zu liefern, die korrekten Begründungen dann als Trainingsdaten zu verwenden, mit dem fein abgestimmten Modell dann neue Trainingsdaten zu generieren und so weiter.
Vielversprechend ist auch das Tree-of-Thoughts-Verfahren aus Stanford: Mithilfe einer logischen Baumstruktur konnte ein Sprachmodell verschiedene Argumentationspfade ausprobieren und zu einem vorherigen Punkt zurückkehren, wenn es nicht weiterkam. Der ursprünglich von OpenAI verwendete Codename für Strawberry, Q*, deutet ein wenig in diese Richtung, denn ein Algorithmus mit dem Namen A* war ein historischer Durchbruch bei der Lösung von Navigationsproblemen.
