Das wir einem KI-Modell quasi gut zureden können, um bessere Ergebnisse zu erhalten, klingt zunächst unlogisch. Tatsächlich kam eine Studie von Googles KI-Schmiede Deepmind aber genau zu diesem Ergebnis.
Im Rahmen der Studie untersuchte das Deepmind-Team, wie KI-Modelle mit Hilfe von großen Sprachmodellen in natürlicher Sprache optimiert werden können. Konkret wurden dazu zwei Sprachmodelle eingesetzt, die jeweils unterschiedliche Rollen im Optimierungsprozess spielen.
Die erste bewertet das Ergebnis nach Parametern wie der Genauigkeit. Die zweite erstellt neue Lösungen für das gestellte Problem auf Basis früherer Ergebnisse und in natürlicher Sprache verfassten Beschreibungen.
„Atme tief durch und arbeite Schritt für Schritt an dem Problem“
Das vielleicht überraschendste Ergebnis der Studie ist der Einfluss bestimmter Phrasen auf die Qualität der Ergebnisse. Die Aufforderung, alles Schritt für Schritt zu durchdenken, führte beispielsweise bei Matheproblemen zu deutlich besseren Ergebnissen.
Der laut Deepmind effektivste Zusatz zu einem prompt: „Atme tief durch und arbeite Schritt für Schritt an dem Problem.“ Mithilfe dieser Frage konnten die KI-Modelle einen Score von mehr als 80 Prozent in dem Mathematikdatensatz GSM8K erreichen. Ohne diese Phrase lag der Wert bei nur 34 Prozent. Und auch das Weglassen der unsinnigen Anweisung, Luft zu holen, reduzierte das Ergebnis auf unter 72 Prozent.
Warum funktioniert das?
Logischerweise kann ein großes Sprachmodell keine Luft holen. Auch denken die Systeme nicht im klassischen Sinne wie Menschen und können sich auch nicht beruhigen. Dass die obige Phrase dennoch funktioniert, dürfte am Datensatz der KI-Modelle liegen.
Die Modelle wurden zu einem nicht unerheblichen Teil mit Daten aus dem Netz gefüttert. Es dürften auch viele Anleitungen und Hilfestellungen aus Foren dabei gewesen sein. Darin wiederum könnte die Phrase „atme tief durch und arbeite Schritt für Schritt an dem Problem“ häufiger genutzt worden sein, bevor ausführliche Erklärungen für ein Problem geteilt wurden. Es ist daher anzunehmen, dass große Sprachmodelle durch die Erwähnung der Phrase gezielt aus diesem Teil ihres Wissensschatzes schöpfen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team