ChatGPT, Ernie Bot und Googles Bard: Künstliche Intelligenz ist greifbarer denn je. Sie ist dabei nicht nur nette Spielerei; Bild-KI und Chatbots bieten viel Potenzial und können Nutzer:innen ­tatsächlich auch bestimmte Aufgaben abnehmen. Dafür braucht es aber die richtigen Prompts.

Wird von KI gesprochen, sind damit meist große Sprach­modelle (LLM) gemeint. Mit dem Sprachmodell GPT-3 veränderte das Entwicklungsteam von OpenAI die Art und Weise, wie Nutzer:innen mit KI interagieren. Der Umgang war nicht länger auf Programmiercode und kryptische Frameworks beschränkt. Seither lassen sich auch die beeindruckendsten KI-Produkte so ansprechen, wie Menschen es am besten können: in natürlicher Sprache.

Dieser Artikel ist zuerst im t3n Magazin 72 erschienen. In der aktuellen Ausgabe widmen wir uns Jobs der Zukunft. Schau dir jetzt das neueste Magazin an.

Dieser Prozess wird Prompting genannt. Auch die neueste Generation von LLM wie ChatGPT, GPT-4 und Googles Bard basiert darauf. Ein Prompt ist ein Stück Text, das von einem ­großen Sprachmodell fortgesetzt werden soll. Basierend auf einer Sequenz von Worten werden schrittweise neue Worte generiert. Dazu berechnet das Modell die Wahrscheinlichkeiten aller bekannten Worte für den aktuellen Kontext – und schreibt so Wort für Wort den Text weiter.

Um diese Berechnungen anstellen zu können, müssen ­Sprachmodelle mit großen Mengen an Textdaten trainiert werden. Dank dieses Trainings lernt ein Modell, welche Worte, ­Themen und Satzstrukturen miteinander assoziiert werden – und welche nicht.

Große Sprachmodelle sind keine Datenbanken, aber komprimierte Bibliotheken von Wissen und Verhalten. Ein Modell speichert Trainingsdaten nicht direkt. Sie werden stattdessen genutzt, um Milliarden von Parametern, also die Stellschrauben eines Modells, anzupassen und zu verbessern. Dadurch lernt es nicht nur, Sprache zu nutzen, sondern sie auch mit Inhalten zu befüllen.

Prompts sind also weniger bloße Aufforderungen, sondern vielmehr Datenpunkte in Textform. Diese Datenpunkte gilt es durch das Sprachmodell zu neuen Worten zu verarbeiten. Der Trainingsprozess hat zur Folge, dass nicht nur die eigentlichen Trainingsdaten, sondern komplett neue Kombinationen an ­Wissen, Verständnis, Argumentation und Form generiert werden können.

Schlussendlich liegt es an den Nutzer:innen, dem Modell die gewünschten Resultate zu entlocken. Die erschließen sich allein aus den genutzten Prompts. Wer bessere Resultate will, braucht bessere Prompts.

Jede beliebige Sequenz aus Worten kann als Prompt ­dienen. Grundsätzlich müssen sie nicht einmal Sinn ergeben, um ­Resultate generieren zu können. Gute Prompts zeichnen sich aber dadurch aus, dass sie ihr Anliegen möglichst unmissverständlich und präzise ausdrücken. Ein guter Prompt hat deshalb eine klare Struktur und besteht aus mehreren Elementen. Eine ­Kombination der folgenden Elemente ist oft effektiv, auch wenn je nach Fall nicht immer jedes Element benötigt wird.

Als zentrales Element eines Prompts definiert die Anweisung das Anliegen an das Modell. Sie drückt aus, welche Aufgabe das ­Modell zu lösen hat:

In vielen Anwendungsfällen reicht eine Anweisung allein nicht aus. Sollen Texte übersetzt, gekürzt oder auf andere Weise verarbeitet werden, benötigt das Modell Zugang zu diesen Textdaten. Diese Inputdaten werden deshalb direkt mit der Anweisung im Prompt mitgeliefert:

Viele Aufgaben können bereits mit einer Anweisung und den dazugehörigen Daten gelöst werden. Die Bereitstellung von zusätzlichem Kontext hilft jedoch dabei, das Modell bei der Generierung der Resultate in die gewünschte Richtung zu steuern. So werden Namen, Orte oder Stilistik berücksichtigt, ohne dass sie später noch händisch angepasst werden müssen:

Anders als die bisherigen Elemente steuert das Format nicht die Inhalte, sondern die Form der Resultate. Als letztes Element bestimmt es, ob die Resultate als Fließtext, Programmiercode oder Tabelle formatiert werden. Somit lässt sich auch steuern, an wen die Resultate gerichtet sind. Unabhängig vom Inhalt unterscheidet sich eine Erklärung für Expert:innen von einer Erklärung für Grundschüler:innen grundlegend in Form und Stil:

Trotz der schieren Breite möglicher Anwendungen haben sich ­einige grundlegende Prinzipien für effektives Promptdesign etabliert. Zunächst sollte jeder Prompt so präzise und expressiv wie möglich gestaltet werden. Je mehr Informationen dem Modell zur Verfügung stehen, desto besser kann es die Aufgabe lösen. Die Länge des Prompts ist kein Selbstzweck: Gute Prompts sind möglichst ausdrucksstark geschrieben, sodass sie in möglichst ­wenigen Worten die maximale Informationsdichte vermitteln.

Es ist essenziell, Prompts nicht nur als bloße Befehle zu verstehen. Je vager der Prompt, desto mehr Freiheit hat das Modell in der Generierung von Output. Sobald aber spezifische ­Resultate vonnöten sind, ist klar: Gute Prompts schränken das Modell­verhalten ein. Das ermöglicht einen Perspektivwechsel: Gesucht ist weniger der Prompt, der die Aufgabe beschreibt. Stattdessen: Mit welchem Prompt ist ausschließlich das gewünschte Modellverhalten möglich?

Generative Sprachmodelle haben lediglich eine Aufgabe: gegebenen Text fortzusetzen. Während des Trainings haben diese Modelle nicht nur eine unglaublich große Anzahl von Texten gesehen, sondern auch unterschiedliche Strategien gelernt, sie fortzusetzen. Klare Prompts definieren deshalb nicht nur die gewünschten Resultate, sondern schränken damit implizit das ­Modell ein.

Dadurch wird auch deutlich, wie nützlich die Verwendung von negativen Elementen in Prompts sein kann. Je klarer die Einschränkung, desto einfacher kann sich das Modell dem gewünschten Verhalten annähern. Negative Prompts sind wichtige Werkzeuge, um unerwünschte Resultate gezielt auszuschließen. So können unzufriedenstellende Resultate schrittweise ver­bessert werden.

Syntaktische Mittel spielen dabei eine wichtige Rolle. An­führungs- und Schlusszeichen, Zeilenumbrüche und Interpunk­tion helfen dabei, einen Prompt zu strukturieren und die ­einzelnen Elemente klar voneinander zu trennen. Dadurch verringert sich die Wahrscheinlichkeit, dass Input-Daten als Anweisung verstanden und durch das Modell direkt fortgesetzt werden.

Neben diesen Grundsätzen haben sich mehrere Strategien etabliert, die zum Schreiben effektiver Prompts hilfreich sind. Die Autor:innen des Papers, das GPT-3 vorstellt, haben LLM als „Few-Shot Learners“ bezeichnet. Das bedeutet, ein vortrainiertes Modell mithilfe von wenigen Beispielen auf den eigenen Anwendungsfall anzupassen. Traditionell wurden vortrainierte Modelle mit eigenen Daten weitertrainiert, um sie auf bestimmte Anwendungsfälle zu spezialisieren: das sogenannte Fine-Tuning.

Im Gegensatz dazu ermöglicht Few-Shot Learning eine An­passung des Modellverhaltens, ohne die Parameter des Modells zu verändern – nur durch die Bereitstellung von Kontext. In der Praxis bedeutet das, im Prompt Lösungsbeispiele mitzuliefern. Die sollen den gewünschten Lösungsweg vorzeigen und sind der Aufgabe bestenfalls auch inhaltlich ähnlich.

Damit macht sich Few-Shot Learning zunutze, dass ­generative Sprachmodelle eigentlich nur Text fortsetzen. Das Modellver­halten soll so eingeschränkt werden, dass nur ähnliche Lösungsansätze möglich sind. Weitere Elemente sind oft zweitrangig oder werden komplett weggelassen:

Few-Shot-Learning-Ansätze verlassen sich also auf die Demonstration von Lösungswegen, die „Task Demonstration“. Mit einem Zero-Shot-Learning-Ansatz wird hingegen nichts demonstriert, sondern die Aufgabe möglichst genau beschrieben – es handelt sich um eine „Task Description“. Zero-Shot Learning verzichtet zum Schaffen von Kontext komplett auf Beispiele.

Stattdessen vertraut Zero-Shot Learning darauf, dass Anweisungen und detaillierter Kontext das Sprachmodell so präzise einschränken können, dass keine Beispiele mehr nötig sind. Jede Interaktion mit einem LLM, die nicht unter Verwendung von Beispiellösungen stattfindet, kann deshalb als Zero-Shot Learning bezeichnet werden:

Trotz präziser Anweisungen sind Aufgaben problematisch, die komplexe Argumentation erfordern. Forschung hat gezeigt, dass LLM solche Probleme besser lösen können, wenn sie die gesamte Argumentation Schritt für Schritt erarbeiten.

Dieses sogenannte Chain-of-Thought Prompting soll dazu anleiten, große Problemstellungen in kleinere, einfachere Teil­probleme zu unterteilen. Kombiniert mit Few-Shot Prompting kann Chain-of-Thought Prompting weiter verbessert werden, indem das Kontext-Element des Prompts Lösungsbeispiele enthält:

 

Um möglichst ausdrucksstarke Anweisungen zu generieren, hilft es, Situationen oder Rollen zu beschreiben, anstatt ­Attribute zu verwenden. Sogenannte Memetic Proxies nutzen implizit verstandene Situationen oder Personen anstelle von ausführlichen Beschreibungen. Anweisungen wie „Sei ein Grundschullehrer“ weisen eine höhere Informationsdichte auf als „Erkläre gründlich, detailliert und in einfachen Worten“, da mit deutlich ­weniger Worten ähnliche Resultate erzeugt werden. Dank ­extensivem Training entwickeln LLM ein Verständnis für Situationen und Persona, die gewünschtes Verhalten effizienter und besser ­abbilden können als jede Beschreibung.

Gute Prompts erfordern Strategie, Fachwissen und Erfahrung. Die vorgestellten Methoden und Ansätze für effektives ­Prompt-Design ermöglichen einen strukturierten und getesteten Umgang mit ­Prompting: weg vom Bauchgefühl und hin zur Methodik.

Die bewusste Steuerung großer Sprachmodelle ermöglicht es, komplexe Aufgaben schneller und einfacher zu erledigen als je zuvor. Die Zukunft vieler Berufsfelder hängt von den Möglichkeiten ab, diese Modelle effektiv zu nutzen und ihr Potenzial auszuschöpfen. Prompt-Engineering ist der Schlüssel dazu und wird eine entscheidende Rolle bei der Gestaltung von Technologie ­spielen – sowohl bei der heutigen als auch der nächsten ­Generation. •

Oliver Guggenbühl ist Data Scientist und Entwickler bei statworx und arbeitet täglich an KI- und Datenprojekten. Große Sprach­modelle faszinieren ihn besonders – ­insbesondere, da er die Schreibfeder auch gerne selbst zückt.