Anzeige
Anzeige
News
Artikel merken

DetectGPT findet heraus, ob ein Text von einem Menschen oder einer KI stammt

Wurde ein Text von einem Menschen oder einer KI geschrieben? Wer an der Uni schummeln möchte, kann das in Zukunft nicht mehr so einfach. Denn DetectGPT soll mit einer Genauigkeit von bis zu 95 Prozent Texte von einer KI entlarven können.

Von Stefica Budimir Bekan
2 Min. Lesezeit
Anzeige
Anzeige
Chat GPT ist hilfreich, bietet aber auch Betrüger:innen eine Bühne (Foto: Shutterstock/Mizkit)

Viele freuen sich schon auf die Einführung von ChatGPT von OpenAI – und das nicht nur Privatpersonen. Auch Unternehmen wie Buzzfeed sehen dem KI-Sprachmodell enthusiastisch entgegen und wollen die KI nutzen, um „Inhalte zu kreieren, zu personalisieren und zu animieren“.

Anzeige
Anzeige

Doch es gibt auch Kritiker:innen, die bemängeln, dass die Software missbraucht werden würde, um bei Tests in der Schule oder an der Uni zu schummeln. Die KI soll laut einer Studie sogar wissenschaftliche Gutachter:innen täuschen können. Aus diesem Grund hat die Pariser Elite-Universität Sciences Po die Nutzung von ChatGPT sogar verboten.

DetectGPT soll KI-Content entlarven

Forscher der Standford University haben nun eine neue Methode entwickelt, die KI-kreierte Texte von Large Language Models wie ChatGPT auf Anhieb erkennen soll. DetectGPT wurde eigens zu dem Zweck entwickelt, um Lehrer:innen, Journalist:innen und Bürger:innen darüber zu informieren, wann sie Texte lesen, die von einer KI und nicht von einem Menschen generiert wurden.

Anzeige
Anzeige

Das Besondere an DetectGPT

DetectGPT muss für eine Textanalyse noch nicht mal trainiert werden, denn das würde eine riesige Datenmenge benötigen. Die Wissenschaftler:innen gehen nämlich davon aus, dass hinter der Funktionsweise von ChatGPT und ähnlichen ein Modell steht, das sich vom menschlichen Verfassen von Texten mathematisch klar unterscheiden lässt.

Die Software soll zwischen einer negativen und einer positiven Krümmung der logarithmischen Wahrscheinlichkeitsfunktion unterscheiden können. Laut den Forscher:innen analysiert DetectGPT den eingegebenen Text auf mathematische Auffälligkeiten, wobei das Tool davon ausgeht, dass ein maschinell erstellter Text negative Krümmungsbereiche einnimmt.

Anzeige
Anzeige

So funktioniert das Tool

Mitchell erkannte, dass seine Idee mit den gängigen Open-Source-Modellen getestet werden könnte, einschließlich derer, die über die API von OpenAI verfügbar sind. DetectGTP verwendet also einfach das LLM, das aller Wahrscheinlichkeit nach den zu prüfenden Text erzeugt hat, um seine eigenen Ausgaben zu erkennen. Im Grunde genommen wird dabei ein LLM gefragt, wie sehr er eine Textprobe „mag“, sagt Mitchell.

Anzeige
Anzeige

Und dabei geht es nicht darum, festzustellen, welche Präferenzen das Sprachmodell hat, sondern vielmehr darum, zu erkennen, ob der Text von dem jeweiligen LLM stammt. „Wenn er ihm sehr gefällt, dann stammt er höchstwahrscheinlich von dem Modell. „Wenn er ihm nicht gefällt, wurde er nicht von diesem Modell verfasst.“ Und dieser Ansatz funktioniert laut Mitchell ziemlich gut. „Es ist viel besser als zufälliges Raten.“

Wie das Tool zwischen den Texten unterscheidet

Bei den Tests werteten Mitchell und seine Kolleg:innen aus, wie sehr verschiedene öffentlich zugängliche LLMs von Menschen erstellte Texte sowie ihre eigenen Texte, einschließlich gefälschter Nachrichtenartikel und akademischer Aufsätze, mochten. Es wurde ebenfalls bewertet, wie die LLMs im Durchschnitt auf 100 Störfaktoren in den Texten eines LLM oder eines von Menschen erstellten Textes reagierten.

Als das Team den Unterschied zwischen diesen beiden Zahlen für KI-erstellte Texte aufzeichnete und mit denen von Menschen erstellten Texten verglich, wurden ihm zwei Glockenkurven angezeigt, die kaum überlappten.

Anzeige
Anzeige

„Anhand dieser einen Zahl können wir ziemlich gut zwischen den Quellen der Texte unterscheiden“, sagt Mitchell. „Wir erhalten ein viel zuverlässigeres Ergebnis verglichen mit Methoden, die einfach nur messen, wie sehr das Modell den Originaltext mag.“

Wann wird DetectGTP verfügbar sein?

Zwar ist noch keine offizielle Version von DetectGTP zu haben, doch Eric Mitchell hat auf seiner Webseite bereits eine Demo zum Projekt veröffentlicht.

Mehr zu diesem Thema
Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Ein Kommentar
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Timo

Leider wird hier im Artikel nicht erwähnt das das Modell auf GPT2 zugeschnitten ist. ChatGPT verwendet GPT3 und die aktuelle Bing-Chat Version bereits GPT4. Je fortgeschrittener die Version, desto komplizierter die Möglichkeit es zu erkennen.

Darüber hinaus hat z.B. bereits Wharton Professor Ethan Mollick gezeigt wie kluge Prompts das erkennen noch einmal deutlich schwieriger machen.
Er sagt: „Die Menschen werden in ein falsches Sicherheitsgefühl hinsichtlich der Qualität der KI-generierten Arbeit eingelullt, weil sie nur die minderwertige und aufwandsarme KI-Arbeit bemerken.“

Siehe: https://twitter.com/emollick/status/1626712204182687744

Antworten

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige