Das Tool erkennt Texte sehr akkurat. (Foto: Cell Reports Physical Science)
Heather Desaire und ihr Team von der University of Kansas haben ein Tool entwickelt, das akademische Texte, die von ChatGPT erstellt wurden, mit einer Genauigkeit von 99 Prozent erkennen kann. Der einzige Haken: Das Tool funktioniert nur mit akademischen Texten, und das ist so gewollt.
Tests und Aufbau des Tools haben die Wissenschaftler in einer Studie festgehalten, die im Journal Cell Reports Phsysical Science veröffentlicht wurde. Um diese hohe Genauigkeit zu erreichen, musste das Tool auf eine bestimmte Art von Text spezialisiert sein.
Desaire sagt gegenüber Sci Tech Daily, dass es relativ einfach sei, ein Tool zu bauen, das menschliche Texte von Texten unterscheiden kann, die von ChatGPT geschrieben wurden. Allerdings sind diese Tools nicht so akkurat wie das von ihrem Team. Um so akkurat arbeiten zu können, muss das Tool auf eine kleine Gruppe von Menschen spezialisiert sein; in diesem Fall Wissenschaftler.
Viel kleinerer Datensatz als andere Detektoren
„Wir haben einen viel kleineren Datensatz und viel mehr menschliche Eingriffe verwendet, um die Hauptunterschiede zu identifizieren, auf die sich unser Detektor konzentrieren sollte“, sagte Desaire. „Um genau zu sein, haben wir unsere Strategie mit nur 64 von Menschen verfassten Dokumenten und 128 KI-Dokumenten als Trainingsdaten aufgebaut.“
Die Größe dieser Datensätze beträgt nur ein Hunderttausendstel von denen, die von anderen Detektoren verwendet werden. Das hat den Vorteil, dass die eingepflegten Datensätze schneller bearbeitet und tatsächlich alle vorher von Menschen gelesen werden konnten.
Auch die Unterschiede in den Texten, auf die sich das Tool konzentrieren soll, werden vom Team selbst vorgegeben. Bei anderen Tools werden diese von dem Tool selbst ausgemacht. Auch das ist nur möglich, wenn sich der Detektor auf eine kleine Gruppe von Menschen konzentriert.
Ganz neuer Ansatz
„Es ist mir ein wenig peinlich, das zuzugeben, aber wir haben die Literatur zur KI-Texterkennung erst dann konsultiert, als wir ein eigenes Tool in der Hand hatten“, sagte Desaire. „Wir basierten es dabei nicht darauf, wie Informatiker über die Texterkennung denken, sondern nutzten unsere Intuition darüber, was funktionieren würde.“
Das resultierte darin, dass die Forscher sich gefragt haben, wie andere Forscher ihre akademischen Texte verfassen. Die meisten Tools zur KI-Texterkennung funktionieren andersherum. Sie fragen sich, wie Texte aussehen, die von der KI geschrieben werden.
Auch dieser Ansatz ist nur möglich, weil das Tool darauf spezialisiert ist, Texte von einer kleinen Gruppe von Menschen zu erkennen.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team