
Das wir einem KI-Modell quasi gut zureden können, um bessere Ergebnisse zu erhalten, klingt zunächst unlogisch. Tatsächlich kam eine Studie von Googles KI-Schmiede Deepmind aber genau zu diesem Ergebnis.
Im Rahmen der Studie untersuchte das Deepmind-Team, wie KI-Modelle mit Hilfe von großen Sprachmodellen in natürlicher Sprache optimiert werden können. Konkret wurden dazu zwei Sprachmodelle eingesetzt, die jeweils unterschiedliche Rollen im Optimierungsprozess spielen.
Die erste bewertet das Ergebnis nach Parametern wie der Genauigkeit. Die zweite erstellt neue Lösungen für das gestellte Problem auf Basis früherer Ergebnisse und in natürlicher Sprache verfassten Beschreibungen.
„Atme tief durch und arbeite Schritt für Schritt an dem Problem“
Das vielleicht überraschendste Ergebnis der Studie ist der Einfluss bestimmter Phrasen auf die Qualität der Ergebnisse. Die Aufforderung, alles Schritt für Schritt zu durchdenken, führte beispielsweise bei Matheproblemen zu deutlich besseren Ergebnissen.
Der laut Deepmind effektivste Zusatz zu einem prompt: „Atme tief durch und arbeite Schritt für Schritt an dem Problem.“ Mithilfe dieser Frage konnten die KI-Modelle einen Score von mehr als 80 Prozent in dem Mathematikdatensatz GSM8K erreichen. Ohne diese Phrase lag der Wert bei nur 34 Prozent. Und auch das Weglassen der unsinnigen Anweisung, Luft zu holen, reduzierte das Ergebnis auf unter 72 Prozent.
Warum funktioniert das?
Logischerweise kann ein großes Sprachmodell keine Luft holen. Auch denken die Systeme nicht im klassischen Sinne wie Menschen und können sich auch nicht beruhigen. Dass die obige Phrase dennoch funktioniert, dürfte am Datensatz der KI-Modelle liegen.
Die Modelle wurden zu einem nicht unerheblichen Teil mit Daten aus dem Netz gefüttert. Es dürften auch viele Anleitungen und Hilfestellungen aus Foren dabei gewesen sein. Darin wiederum könnte die Phrase „atme tief durch und arbeite Schritt für Schritt an dem Problem“ häufiger genutzt worden sein, bevor ausführliche Erklärungen für ein Problem geteilt wurden. Es ist daher anzunehmen, dass große Sprachmodelle durch die Erwähnung der Phrase gezielt aus diesem Teil ihres Wissensschatzes schöpfen.