Prompt-Engineering heißt ein noch ziemlich junges Berufsbild, das der Boom der KI-Technologie hervorgebracht hat. Die KI-Expert:innen schreiben die Eingabeaufforderungen für Chatbots wie ChatGPT, die auf dieser Grundlage die bestmöglichen Ergebnisse liefern sollen.

Ein Job mit idealen Zukunftsaussichten, dachten Branchenkenner:innen und Headhunter:innen eine Zeit lang – und könnten mit ihrer Einschätzung genau falsch gelegen haben.

Genau das legt eine Studie mit dem Titel „The Unreasonable Effectiveness of Eccentric Automatic Prompts“ („Die unerklärliche Wirksamkeit exzentrischer automatischer Prompts“) des Cloud-Computing-Unternehmens VMware aus Kalifornien nahe. Darin widmeten sich die Wissenschaftler:innen um Teja Gollapudi und Rick Battle der Frage, wie sich die Antworten der großen Sprachmodelle (LLM) optimieren lassen.

Dabei fielen ihnen zunächst zwei Dinge auf. Erstens: Die Leistung verbesserte sich in manchen Fällen nach der an das Modell gerichteten Bitte, die Überlegungen nach der Chain of Thought genannten Technik Schritt für Schritt zu erklären.

Und zweitens: Die generativen KI-Tools reagierten besonders gut auf positiv formulierte Aufforderungen. Konkret zeigte die KI bessere Leistungen, nachdem die Eingabeaufforderung mit einem Satz wie „Das wird lustig“ eingeleitet worden war.

Das Ergebnis, das vor allem Prompt-Engineers aber am meisten umtreiben dürfte, war ein ganz anderes. Denn tatsächlich waren die Ergebnisse dann am besten, wenn das Sprachmodell aufgefordert wurde, sich selbst eine optimale Aufforderung auszudenken.

Die von der KI automatisch generierten Prompts funktionierten besser und ließen sich auch besser verallgemeinern, so die Forscher:innen, die zudem die Schnelligkeit dieses Prozesses betonten. Laut Rick Battle lässt das nur den Schluss zu, dass Prompts künftig nicht mehr von Menschen optimiert werden sollten.

Allerdings bedeutet das nicht, dass KI-Tools künftig ganz ohne Menschen auskommen würden. Gegenüber der Zeitschrift IEEE Spectrum gab Battle KI-Expert:innen den Tipp: „Entwickeln Sie einfach eine Bewertungsmetrik, damit das System selbst erkennen kann, ob eine Aufforderung besser ist als eine andere, und lassen Sie das Modell sich selbst optimieren.“