So faszinierend ChatGPT für Technologie-Begeisterte auch ist, die Universitätswelt ist in höchster Alarmbereitschaft. Der KI-Chatbot ist in der Lage ganze Aufsätze für die Schule oder Arbeiten für die Uni auf Basis von Schlüsselwörtern selbstzuschreiben. Und zwar so gut, dass sie sich kaum von Menschen geschriebenen Fachbeiträgen unterscheiden.
Ein Forschungsteam der Northwestern University in Chicago, Illinois, hat das jüngst erneut bewiesen. Mithilfe des Chatbots haben sie 50 medizinische KI-Texte erstellen lassen und diese mit einer Vorauswahl wissenschaftlicher Texte renommierter Fachzeitschriften wie JAMA, The New England Journal of Medicine und Nature Medicine verglichen.
ChatGPT-Beiträge: 32 Prozent blieben unerkannt
Dafür kam zuerst ein Plagiatsdetektor zum Einsatz, der die ChatGPT-Texte auf kopierte Stellen untersuchte. Anschließend sollten auch Expertinnen und Experten die Texte auf Plagiate untersuchen. Ein KI-Output-Detektor sollte abschließend noch als Kontrollgruppe zum Einsatz kommen. Die Ergebnisse lassen Expertinnen und Experten erneut aufhorchen.
Während der Plagiatsdetektor beim Scannen der KI-Texte keine kopierten Stellen fand, empfand das Forschungsteam 68 Prozent als Fälschungen, jedoch auch 32 Prozent der gefälschten Beiträge als vom Menschen geschrieben. Die Gutachter identifizierten anschließend fälschlicherweise 14 Prozent der echten Beiträge als KI-generiert.
„Unsere Gutachter wussten, dass einige der Zusammenfassungen gefälscht waren, also waren sie entsprechend misstrauisch“, so Catherine Gao, Leiterin des Forschungsprojektes. „Die Tatsache, dass unsere Rezensenten die von der KI generierten Beiträge in 32 Prozent der Fälle dennoch nicht erkannten, bedeutet, dass diese Abstrakte wirklich gut sind.“
Gao vermutet, das Expertinnen und Experten, ohne diese Vorkenntnis nicht unbedingt in der Lage wären, die KI-Texte in jedem Fall als Fälschungen zu identifizieren. Die schwer zu erkennenden gefälschten Zusammenfassungen könnten die Wissenschaft untergraben. „Das ist besorgniserregend“, sagt Gao. ChatGPT könnte Plagiatsstuben unterstützen.
Bildungsministerium verhindert ChatGPT-Zugang
Inzwischen handeln erste öffentliche Einrichtungen: Das Bildungsministerium in New York hat Schülerinnen und Schüler zuletzt daran gehindert, über das öffentliche Schulnetzwerk auf ChatGPT zuzugreifen. Zwar helfe das Tool, schnell Antworten auf Fragen zu geben, jedoch baue es keine kritischen Denk- und Problemlösungsfähigkeiten auf, heißt es in der Begründung.
