Anzeige
Anzeige
MIT Technology Review Feature

Merkwürdige GPT-4o-Antworten: Warum Tokenizer-Trainingsdaten für China voller Spam und Porno sind

Von MIT Technology Review Online
Seite 2 / 3
Anzeige
Anzeige

Schmutzige Daten und mangelnde Bereinigung

Im Chinesischen sieht die Sache jedoch ganz anders aus. Laut mehreren Forschern, die die neue Token-Bibliothek für GPT-4o untersucht haben, handelt es sich bei den längsten Token im Chinesischen fast ausschließlich um besagte Spam-Wörter, die im Zusammenhang mit Pornografie, Glücksspiel und sogar Betrug verwendet werden. Selbst kürzere Token, wie chinesische Wörter mit drei Zeichen Länge, spiegeln diese Themen in hohem Maße wider.

Anzeige
Anzeige

„Das Problem liegt auf der Hand: Der Korpus, der zum Trainieren [des Tokenizers] verwendet wurde, ist nicht sauber. Die englischen Token scheinen in Ordnung zu sein, aber die chinesischen sind es nicht“, sagt Cai von der Princeton University. Es komme nicht selten vor, dass ein Sprachmodell beim Sammeln von Trainingsdaten auf Spam stößt, aber normalerweise würden erhebliche Anstrengungen unternommen, um die Daten zu bereinigen. „Es ist möglich, dass sie die Daten für Chinesisch nicht richtig gesäubert haben“, sagt er.

Der Inhalt dieser chinesischen Token könnte darauf hindeuten, dass sie durch ein bestimmtes Phänomen verunreinigt wurden: Websites, die reguläre Inhalte auf Chinesisch oder anderen Sprachen „kapern“, um Spam-Nachrichten zu verbreiten.

Anzeige
Anzeige

Bei diesen Nachrichten handelt es sich häufig um Werbung für pornografische Videos und Glücksspiel-Websites. Dabei kann es sich um tatsächliche Unternehmen oder um Betrügereien handeln. Solche Phrasen werden in Content-Farm-Websites, die Suchmaschinen austricksen sollen, und manchmal auch in legitime Websites eingefügt, um Filter zu umgehen. So hat Google beispielsweise eine Suchergebnisseite auf einer Website der US National Institutes of Health indexiert, auf der eine Pornoseite in chinesischer Sprache aufgeführt wurde. Derselbe Website-Name erschien übrigens auch in mindestens fünf chinesischsprachigen Token in GPT-4o.

Angriffsformen wie Jailbreak möglich

Chinesische Nutzer berichteten bereits, dass solche Spam-Websites in diesem Jahr häufig in unzusammenhängenden Google-Suchergebnissen auftauchten – auch in Kommentaren an die Support-Community von Google Search. Es ist wahrscheinlich, dass diese Websites dann auch ihren Weg in die Trainingsdaten von OpenAI für den neuen Tokenizer von GPT-4o gefunden haben.

Anzeige
Anzeige

Das gleiche Problem gab es bei der vorherigen Generation des Tokenizers allerdings nicht. Bei GPT-3.5 und GPT-4 sei alles sauber, so Zhengyang Geng, Doktorand der Computerwissenschaften an der Carnegie Mellon University. Dort waren die längsten chinesischen Token gängige Begriffe wie „Lebenszyklen“ oder „automatische Generierung“.

KI-Investor Das, der drei Jahre lang im Google-Search-Team gearbeitet hat, meint, dass die Verbreitung von Spam-Inhalten ein bekanntes Problem ist, das nicht so schwer zu beheben sei. „Für jedes Spam-Problem gibt es eine Lösung. Und man muss nicht alles mit einer einzigen Technik abdecken.“ Selbst einfache Lösungen wie die Anforderung einer automatischen Übersetzung des Inhalts bei der Erkennung bestimmter Schlüsselwörter könnten „in 60 Prozent der Fälle zum Ziel führen“, fügt er hinzu.

Anzeige
Anzeige

OpenAI habe wahrscheinlich die chinesischen Trainingsdaten oder die Token vor der Veröffentlichung von GPT-4o einfach nicht bereinigt, sagt Das: „Letztlich glaube ich nicht, dass sie in diesem Fall ihren Job gemacht haben.“ Derzeit ist unklar, ob auch andere Sprachen betroffen sind. Ein X-Benutzer berichtete allerdings, dass in koreanischen Token ähnlich viele Porno- und Glücksspielinhalte enthalten sind.

User haben auch festgestellt, dass die problematischen Token dazu verwendet werden können, einen Jailbreak des LLM durchzuführen. Damit kann man das Modell entweder dazu bringen, völlig zusammenhanglose Antworten auszuspucken oder in seltenen Fällen Inhalte zu generieren, die nach den Sicherheitsstandards von OpenAI nicht erlaubt sein sollten.

Geng von der Carnegie Mellon University bat GPT-4o bereits, einige der langen chinesischen Spam-Token ins Englische zu übersetzen. Das Modell übersetzte daraufhin Wörter, die nie im Prompt enthalten waren, ein typischer Fall von LLM-Halluzinationen.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare

Community-Richtlinien

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige