Anzeige
Anzeige
Analyse

ChatGPT: Wie gut können wir KI-generierte Texte wirklich identifizieren?

Mit ChatGPT sind KI-generierte Texte plötzlich überall. An einigen Stellen im Netz sind solche Texte bereits verboten. Doch wie können KI-Texte überhaupt als solche erkannt werden?

3 Min.
Artikel merken
Anzeige
Anzeige
Wenn KI Texte schreibt, erkennt das oft nur noch eine andere KI. (Bild: Midjourney / t3n)

„Von KI geschriebene Texte können potenziell schädlich sein, wenn sie zur Verbreitung von Fehlinformationen oder zur Manipulation der Überzeugungen oder des Verhaltens von Menschen verwendet werden.“ Dieses Zitat stammt nicht von einem Experten, sondern von ChatGPT. Der KI-Chatbot von OpenAI hat damit tatsächlich recht. Leider ist das aber längst nicht immer der Fall.

Anzeige
Anzeige

ChatGPT kann zwar zu jedem Thema einen Text schreiben, da die KI aber nicht wirklich versteht, was sie da schreibt, produziert sie prinzipbedingt leider bisweilen auch völligen Unfug. Der kann aber durchaus glaubwürdig klingen. Problematisch wird das vor allen dann, wenn so erzeugte Texte nicht als KI-generierte Inhalte gekennzeichnet sind.

ChatGPT: Menschen tun sich mit der Erkennung schwer

„In einer Untersuchung über die menschliche Bewertung von maschinell erzeugtem Text wurde festgestellt, dass ungeschulte menschliche Prüfer maschinell erzeugten Text aus GPT-3 in einem Maße korrekt identifizieren konnten, das dem Zufall entspricht“, hieß es in einer Untersuchung aus dem Jahr 2020. Sprich: Man könnte genauso gut per Münzwurf entscheiden, ob ein Text von einer KI generiert wurde.

Anzeige
Anzeige

Immerhin konnte die Erkennungsrate durch etwas Training auf 55 Prozent erhöht werden. Wirklich großartig ist die Trefferquote allerdings nicht. Zumal neuere Sprachmodelle wie GPT-4 oder Claude 3 deutlich überzeugendere Texte generieren als das in der Untersuchung genutzte GPT-3.

Katz-und-Maus-Spiel: KI gegen KI

Erfolgversprechender ist die KI-gestützte Erkennung maschinell erzeugter Texte. Dabei wird die Technik gegen sich selbst eingesetzt. Abhängig von verschiedenen Faktoren kann dabei eine Erkennungsrate von über 90 Prozent erreicht werden.

Anzeige
Anzeige

Allerdings dürfte es in der Realität deutlich schwieriger sein. Wer wirklich verhindern will, dass ein KI-generierter Text als solcher erkannt wird, kann seine Modelle entsprechend anpassen. Auch OpenAI erklärte schon 2019 in einem Paper über die Problematik, dass die automatisierte Erkennung von KI-Texten letztlich auf ein Katz-und-Maus-Spiel hinauslaufen dürfte, bei dem beide Seiten immer wieder nachbessern müssen.

Forschung entwickelt immer neue Ansätze für die KI-Texterkennung

Während große Sprachmodelle immer überzeugendere Ergebnisse liefern, entwickelt die Forschung neue Methoden, um damit erstellte Texte als solche zu entlarven. Die verfolgen dabei recht unterschiedliche Ansätze. Während frühere Erkennungssystem häufig an KI-generierten Texten trainiert wurden, führt das mittlerweile immer weniger zu einer vernünftigen Erkennungsrate.

Anzeige
Anzeige

Ein im März 2024 von Forscher:innen des für seine Atomwaffenforschung bekannten Lawrence Livermore National Laboratory und dem US-Verteidigungsministerium veröffentlichten Paper schlägt daher einen anderen Weg vor. Hier werden dieselben Erkennungsmerkmale herangezogen, mit denen auch unterschiedliche menschliche Autor:innen voneinander unterschieden werden.

Das im selben Monat vorgestellte Projekt Eagle wiederum nutzt eine Auswertung bekannter Trainingsdaten älterer großer Sprachmodelle, um auch mit neueren Modellen erstellte Texte als solche zu entlarven. Das funktioniert laut den beteiligten Wissenschaftler:innen auch bei GPT-4 und Claude gut.

Einen weiteren interessanten Ansatz haben die Informatik-Professoren Junfeng Yang und Carl Vondrick unter dem Namen Raidar (geneRative AI Detection viA Rewriting) vorgestellt. Bei ihrer Methode nutzen sie ein interessantes Phänomen von großen Sprachmodellen aus. Denn wenn die dazu aufgefordert werden, mit KI erstellte Texte umzuschreiben, ändern sie laut den Forschern meist weniger am Text, als wenn der von einem Menschen geschrieben wurde. 

Anzeige
Anzeige

Auf Basis dieser Erkenntnis analysiert Raidar im Anschluss den umformulierten Text und soll so um bis zu 29 Prozent besser als bisherige Methoden erkennen, ob der Ausgangstext von einer KI oder einem Menschen stammt. Außerdem soll Raidar auch bei sehr kurzen Texten – also beispielsweise Social-Media-Beiträgen oder Produktbewertungen – gute Ergebnisse liefern.

Das Problem mit KI-generierten Texten

Trotz Fortschritten bei der Erkennung von KI-generierten Texten dürfte es auf absehbare Zeit keine perfekte Lösung geben. Nicht zuletzt, weil auch die großen Sprachmodelle immer besser werden.

Gleichzeitig schlagen automatisierte Erkennungssysteme auch immer wieder bei eigentlich von Menschen verfassten Texten Alarm. Das wiederum kann beispielsweise für eigentlich unschuldige Student:innen für ernste Probleme sorgen.

Anzeige
Anzeige

Hinzu kommt, dass es auf den sozialen Netzwerken bis dato keine solchen Prüfungssysteme gibt. Und genau dort dürften im Wahljahr 2024 wieder viele KI-generierte Desinformationen gestreut werden.

Dieser Text aus dem Jahr 2022 wurde im April 2024 grundlegend überarbeitet.

Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Kommentare

Community-Richtlinien

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Kommentar abgeben

Melde dich an, um Kommentare schreiben und mit anderen Leser:innen und unseren Autor:innen diskutieren zu können.

Anmelden und kommentieren

Du hast noch keinen t3n-Account? Hier registrieren

Anzeige
Anzeige