Heather Desaire und ihr Team von der University of Kansas haben ein Tool entwickelt, das akademische Texte, die von ChatGPT erstellt wurden, mit einer Genauigkeit von 99 Prozent erkennen kann. Der einzige Haken: Das Tool funktioniert nur mit akademischen Texten, und das ist so gewollt.

Tests und Aufbau des Tools haben die Wissenschaftler in einer Studie festgehalten, die im Journal Cell Reports Phsysical Science veröffentlicht wurde. Um diese hohe Genauigkeit zu erreichen, musste das Tool auf eine bestimmte Art von Text spezialisiert sein.

Desaire sagt gegenüber Sci Tech Daily, dass es relativ einfach sei, ein Tool zu bauen, das menschliche Texte von Texten unterscheiden kann, die von ChatGPT geschrieben wurden. Allerdings sind diese Tools nicht so akkurat wie das von ihrem Team. Um so akkurat arbeiten zu können, muss das Tool auf eine kleine Gruppe von Menschen spezialisiert sein; in diesem Fall Wissenschaftler.

„Wir haben einen viel kleineren Datensatz und viel mehr menschliche Eingriffe verwendet, um die Hauptunterschiede zu identifizieren, auf die sich unser Detektor konzentrieren sollte“, sagte Desaire. „Um genau zu sein, haben wir unsere Strategie mit nur 64 von Menschen verfassten Dokumenten und 128 KI-Dokumenten als Trainingsdaten aufgebaut.“

Die Größe dieser Datensätze beträgt nur ein Hunderttausendstel von denen, die von anderen Detektoren verwendet werden. Das hat den Vorteil, dass die eingepflegten Datensätze schneller bearbeitet und tatsächlich alle vorher von Menschen gelesen werden konnten.

Auch die Unterschiede in den Texten, auf die sich das Tool konzentrieren soll, werden vom Team selbst vorgegeben. Bei anderen Tools werden diese von dem Tool selbst ausgemacht. Auch das ist nur möglich, wenn sich der Detektor auf eine kleine Gruppe von Menschen konzentriert.

„Es ist mir ein wenig peinlich, das zuzugeben, aber wir haben die Literatur zur KI-Texterkennung erst dann konsultiert, als wir ein eigenes Tool in der Hand hatten“, sagte Desaire. „Wir basierten es dabei nicht darauf, wie Informatiker über die Texterkennung denken, sondern nutzten unsere Intuition darüber, was funktionieren würde.“

Das resultierte darin, dass die Forscher sich gefragt haben, wie andere Forscher ihre akademischen Texte verfassen. Die meisten Tools zur KI-Texterkennung funktionieren andersherum. Sie fragen sich, wie Texte aussehen, die von der KI geschrieben werden.

Auch dieser Ansatz ist nur möglich, weil das Tool darauf spezialisiert ist, Texte von einer kleinen Gruppe von Menschen zu erkennen.