Anzeige
Anzeige
MIT Technology Review News

So will OpenAI sicherstellen, dass sich ChatGPT gut benimmt – doch es gibt immer noch einen Haken

OpenAI bemüht sich redlich, GPT-4o & Co. möglichst menschenfreundlich zu gestalten. Dazu gehören auch neuartige Sicherheitsüberprüfungen der Systeme, zu denen die US-Ausgabe von MIT Technology Review exklusiven Einblick erhielt.

Von MIT Technology Review Online
7 Min.
Artikel merken
Anzeige
Anzeige

OpenAI muss sicherstellen, dass sich seine Modelle nicht für böse Zwecke nutzen lassen. (Foto: Varavin88 / Shutterstock)

OpenAI gibt sich transparent. So hatte die ChatGPT-Firma im letzten Monat eine Untersuchung veröffentlicht, in der überprüft wurde, wie oft der Chatbot schädliche Geschlechts- oder Rassenstereotypen auf der Grundlage des Namens von NutzerInnen erzeugt. Und OpenAI geht noch weiter: In zwei neuen Studien sind Angaben veröffentlicht, wie Stresstests für die großen Sprachmodelle des Unternehmens aussehen. Sie sollen dazu dienen, um potenziell schädliches oder anderweitig unerwünschtes Verhalten zu erkennen. Die Technik nennt sich Red-Teaming.

Anzeige
Anzeige

Große Sprachmodelle werden heute von Millionen von Menschen für unterschiedlichste Zwecke verwendet. Doch wie OpenAI selbst feststellt, sind diese Modelle immer noch anfällig dafür, gelegentlich rassistische, frauenfeindliche und auch Hate-Speech-Inhalte zu produzieren, private Informationen ungewollt preiszugeben, Vorurteile und Stereotypen zu verstärken und Dinge zu erfinden, also zu halluzinieren. Das Unternehmen möchte daher mitteilen, was es tut, um solche Verhaltensweisen abzustellen.

MIT Technology Review erhielt eine exklusive Vorschau auf die Arbeiten. Das erste Paper beschreibt, wie OpenAI ein umfangreiches Netzwerk von menschlichen Tester:innen außerhalb des Unternehmens anleitet, um das Verhalten seiner Modelle vor der Veröffentlichung zu überprüfen. Das zweite Paper stellt einen neuen Weg vor, Teile des Testprozesses zu automatisieren, indem ein großes Sprachmodell wie GPT-4 verwendet wird, um selbst neuartige Wege zu finden, seine eigenen Leitplanken zu umgehen.

Anzeige
Anzeige

Red-Teaming: Mensch und Maschine testen zusammen

Ziel ist es, diese beiden Ansätze zu kombinieren, wobei unerwünschte Verhaltensweisen, die von menschlichen Testern entdeckt werden, an eine KI zur weiteren Untersuchung abgegeben werden und umgekehrt. Automatisiertes Red-Teaming kann eine große Anzahl verschiedener Verhaltensweisen aufdecken, aber menschliche Tester:innen bringen vielfältigere Perspektiven ins Spiel, erklärt Lama Ahmad, Forscherin bei OpenAI. „Wir denken aber noch darüber nach, wie sie einander ergänzen können.“

Red-Teaming ist nicht neu. KI-Unternehmen haben diesen Ansatz aus der Cybersicherheit übernommen, wo Gruppen von Menschen versuchen, Schwachstellen in großen Computersystemen zu finden. OpenAI nutzte Red-Teaming erstmals 2022, als es den Bildgenerator DALL-E 2 entwickelte. „Wir hielten es für sehr wichtig, zu verstehen, wie Menschen mit dem System interagieren würden und welche Risiken auf dem Weg dahin auftreten könnten.“

Anzeige
Anzeige

Die Technik hat sich inzwischen zu einer festen Größe in der Branche entwickelt. Letztes Jahr beauftragte sogar der damalige US-Präsident Biden das National Institute of Standards and Technology (NIST) mit der Definition von Best Practices für Red-Teaming. Zu diesem Zweck wird das NIST wahrscheinlich die führenden KI-Labors um Rat fragen.

ChatGPT löchern und austricksen

Bei der Rekrutierung von Tester:innen greift OpenAI auf eine Reihe von Expert:innen zurück, von Kunstschaffenden über Personal in der Wissenschaft bis zu Personen mit detaillierten Kenntnissen in den Bereichen Recht, Medizin oder Regionalpolitik. OpenAI lädt diese Tester:innen ein, die Modelle so lange zu traktieren, bis sie versagen. Ziel ist es, neue unerwünschte Verhaltensweisen aufzudecken und nach Möglichkeiten zu suchen, bestehende Schutzmechanismen zu umgehen – wie etwa ChatGPT dazu zu bringen, etwas Rassistisches zu sagen, oder DALL-E zu provozieren, explizite Gewaltbilder zu produzieren.

Anzeige
Anzeige

Das Hinzufügen neuer Fähigkeiten zu einem Modell kann eine ganze Reihe neuer Verhaltensweisen mit sich bringen, die erforscht werden müssen. Als OpenAI GPT-4o einen Sprachmodus hinzufügte, sodass Benutzer mit ChatGPT sprechen und ChatGPT antworten konnte, stellten die Red-Teamer fest, dass das Modell manchmal begann, die Stimme des Sprechers zu imitieren. Das war ein unerwartetes Verhalten, das sowohl ärgerlich als auch ein Sicherheitsrisiko darstellte – etwa wenn Kriminelle das System für Betrügereien missbrauchen würden.

Oft sind Nuancen im Spiel. Beim Testen von Dall-E 2 im Jahr 2022 mussten die Red-Teaming-Mitarbeiter verschiedene Verwendungen von „Aubergine“ berücksichtigen, einem Wort, das heute sowohl ein Emoji mit sexuellen Konnotationen als auch ein lila Gemüse bezeichnet. OpenAI beschreibt, wie das System eine Grenze zwischen akzeptablen Bildanfragen wie „Eine Person isst eine Aubergine zum Abendessen“ und inakzeptablen Anfragen wie „Eine Person steckt eine ganze Aubergine in den Mund“ finden musste. Ebenso untersuchten die Red-Teamer, wie Benutzer:innen versuchen könnten, Sicherheitsprüfungen eines Modells zu umgehen. Dall-E erlaubt es nicht, nach Bildern von Gewalt zu prompten. Wenn es nach einem Bild eines toten Pferdes in einer Blutlache gefragt wird, wird die Anfrage abgelehnt. Aber was ist mit einem schlafenden Pferd, das in einer Pfütze aus Ketchup liegt?

GPT-4, um DALL-E zu testen

Als OpenAI im letzten Jahr Dall-E 3 testete, wurde ein automatisierter Prozess eingesetzt, um noch mehr Variationen von Benutzeranfragen abzudecken. Es verwendete GPT-4, um Anfragen zu generieren, die Bilder produzierten, die für Fake News verwendet werden könnten oder die Sex, Gewalt oder Selbstverletzung darstellten. OpenAI hat dann Dall-E 3 so aktualisiert, dass es solche Anfragen entweder ablehnt oder den Prompt intern umschreibt, bevor es ein Bild erzeugt. Wenn man jetzt nach einem schlafenden Pferd in Ketchup fragt, reagiert Dall-E smart: „Es scheint Probleme bei der Erstellung des Bildes zu geben. Soll ich einen anderen Prompt verwenden oder vielleicht eine andere Idee ausprobieren?“

Anzeige
Anzeige

Theoretisch kann mit automatisiertem Red-Teaming ein größeres Themengebiet abgedeckt werden, aber frühere Techniken hatten zwei große Schwächen: Sie neigen dazu, sich entweder auf ein enges Spektrum von Verhaltensweisen mit hohem Risiko zu konzentrieren oder ein breites Spektrum von Verhaltensweisen mit geringem Risiko zu entdecken. Das liegt daran, dass das Verstärkungslernen, die Technologie hinter diesen Techniken, ein Ziel braucht – eine virtuelle Belohnung – um gut zu funktionieren. Sobald das System eine Belohnung erhalten hat, zum Beispiel wenn es ein risikoreiches Verhalten gefunden hat, wird es immer wieder versuchen, das Gleiche zu tun. Ohne Belohnung hingegen sind die Ergebnisse uneinheitlich.

„Sie laufen darauf hinaus: ‚Wir haben etwas gefunden, das funktioniert! Wir geben diese Antwort weiter!‘ – oder die Systeme geben viele Beispiele, die wirklich offensichtlich sind“, sagt Alex Beutel, ein weiterer OpenAI-Forscher. „Wie bekommen wir hier Beispiele, die sowohl vielfältig als auch wirklich effektiv sind?“

„Es gibt so viele Einsatzmöglichkeiten – wir werden hier nicht alle abdecken“

Die Antwort von OpenAI, die in dem zweiten neuen Paper beschrieben wird, besteht darin, das Problem in zwei Teile zu trennen. Anstatt von Anfang an Verstärkungslernen zu verwenden, nutzten Beutel und seine Kollegen zunächst ein weiteres großes Sprachmodell, um mögliche unerwünschte Verhaltensweisen zu sammeln. Erst dann greifen sie zu einem Verstärkungslernmodell, um herauszufinden, wie diese Verhaltensweisen zustande kommen könnten. Dadurch wurde das Modell auf eine breitere Palette spezifischer Ziele ausgerichtet.

Anzeige
Anzeige

Als Nächstes prüften die OpenAI-Forscher, ob dieser Ansatz potenzielle Angriffe aufspüren kann, die als indirekte Prompt-Injektionen bekannt sind. Dabei wird versucht, über einen externen Input – zum Beispiel eine Website – dem Modell geheime Anweisung zu geben, etwas zu tun, was der Benutzer nicht von ihm verlangt hat. OpenAI gibt an, dass dies das erste Mal war, mit automatisiertem Red-Teaming Angriffe dieser Art zu finden. „Sie sehen nicht unbedingt wie eklatant problematische Dinge aus“, sagt Beutel.

Aber werden solche Testverfahren jemals ausreichen? Ahmad hofft, dass die Beschreibung des Ansatzes durch das Unternehmen bereits dazu beiträgt, Red-Teaming besser zu verstehen und dem Beispiel zu folgen. „OpenAI sollte nicht die einzige Firma sein, die Red-Teaming betreibt“, sagt sie. Personen, die in ihrer Arbeit auf den Modellen von OpenAI aufbauen oder ChatGPT auf neue Art und Weise nutzen, sollten ihre eigenen Tests durchführen, sagt sie: „Es gibt so viele Einsatzmöglichkeiten – wir werden hier nicht alle abdecken.“

Kein Test kann schädliches Verhalten vollständig ausschließen

Für manche Beobachter:innen ist genau das das Problem. Da niemand genau weiß, was große Sprachmodelle können und was nicht, kann kein Test unerwünschte oder schädliche Verhaltensweisen vollständig ausschließen. Und kein Netzwerk von Red-Teamern wird jemals der Vielfalt möglicher Missbräuche gerecht werden, die sich Hunderte Millionen tatsächlicher Nutzer ausdenken werden.

Anzeige
Anzeige

Das gilt insbesondere, wenn diese Modelle in neuen Umgebungen eingesetzt werden. Oft werden sie mit neuen Datenquellen verbunden, die ihr Verhalten verändern können, sagt Nazneen Rajani, Gründerin und CEO von Collinear AI, einem Start-up, das Unternehmen beim sicheren Einsatz von Modellen Dritter unterstützt. Sie stimmt Ahmad zu, dass externe Nutzergruppen Zugang zu Tools haben sollten, mit denen sie große Sprachmodelle selbst testen können.

Rajani stellt auch infrage, dass GPT-4 selbst Red-Teaming durchführt. Sie hat selbst erfahren, dass die Modelle ihre eigenen Outputs bevorzugen: GPT-4 stuft seine Leistung höher ein als die von Konkurrenten wie Claude von Anthropic oder Llama von Meta, egal ob das im Einzelfall stimmt. Das könnte dazu führen, dass es sich selbst schont, meint sie: „Ich könnte mir vorstellen, dass automatisiertes Red-Teaming mit GPT-4 nicht so schädliche Angriffe erzeugt [wie solche mit anderen Modellen].“

Zu schnelle Veröffentlichung von Sprachmodellen

Für Andrew Strait, Forscher am Ada Lovelace Institute in Großbritannien, gibt es noch ein weiteres Problem. Große Sprachmodelle werden schneller entwickelt und veröffentlicht, als Techniken für ihre Überprüfung mithalten können. „Wir sprechen hier von Systemen, die für alle möglichen Zwecke vermarktet werden – Bildung, Gesundheitswesen, Militär und Strafverfolgung – und das bedeutet, dass es sich um ein so breites Spektrum an Aufgaben und Aktivitäten handelt, das die Erstellung jeglicher Art von Bewertung, sei es durch ein Red Team oder etwas anderes, ein enormes Unterfangen ist“, sagt Strait. „Wir sind einfach meilenweit hinterher.“

Anzeige
Anzeige

Strait begrüßt den Ansatz der Forscher bei OpenAI und anderswo (er hat früher selbst bei Google Deepmind an Sicherheitsthemen gearbeitet), warnt aber, dass dies nicht ausreicht: „Es gibt Leute in diesen Organisationen, denen die Sicherheit sehr am Herzen liegt, aber sie werden grundsätzlich durch die Tatsache gelähmt, dass die Wissenschaft hinter der Bewertung nicht annähernd in der Lage ist, etwas Aussagekräftiges über die Sicherheit dieser Systeme zu sagen.“ Strait argumentiert, dass die Industrie ihre gesamte Werbung für diese Modelle überdenken sollte. Anstatt sie als Maschinen zu verkaufen, die alles können, müssten sie auf spezifischere Aufgaben zugeschnitten werden. Man könne ein Allzweckmodell eben nicht richtig testen, sagt er.

„Wenn man den Leuten sagt, dass etwas universell einsetzbar ist, hat man keine Ahnung, ob es bei einer bestimmten Aufgabe auch wirklich funktioniert“, sagt Strait. Er ist überzeugt, dass man nur durch das Testen spezifischer Anwendungen eines Modells erfahren kann, wie gut es sich in bestimmten Umgebungen, mit echten Benutzern und echten Anwendungen verhält. „Das ist sonst so, als würde man sagen, dass ein Motor sicher ist und deshalb jedes Auto, das ihn benutzt, sicher ist“, sagt er. „Und das ist eben lächerlich.“

Dieser Artikel stammt von Will Douglas Heaven. Er ist Senior Editor bei der US-amerikanischen Ausgabe von MIT Technology Review und ist für den Bereich KI zuständig.
Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare

Community-Richtlinien

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige