Studie belegt: Nicht einmal Lizenzpartner sind vor Fehlern bei ChatGPT geschützt
Generative KI-Tools wie ChatGPT sind gekommen, um zu bleiben – das haben auch Verlage längst erkannt. Laut Techcrunch schließen immer mehr von ihnen Lizenzverträge mit OpenAI, dem Unternehmen hinter ChatGPT, ab. Die Gründe dafür sind vielfältig: Zum einen wollen die Herausgeber damit die Nutzung ihrer Inhalte monetarisieren und Urheberrechtsverletzungen eindämmen. Zum anderen erhoffen sie sich, von technologischen Innovationen zu profitieren und ihre Wettbewerbsfähigkeit zu sichern. Doch eine Studie der Columbia Journalism School zeigt alarmierende Schwachstellen auf: Trotz Lizenzvereinbarungen bleiben Verlage der Unzuverlässigkeit des Chatbots weitgehend ausgeliefert.
Schlechte Trefferquote und fehlende Transparenz
Für die Studie wurde ein breites Spektrum an Publikationen herangezogen. Darunter waren beispielsweise die Financial Times, ein Lizenzpartner von OpenAI, ebenso wie die New York Times, die das KI-Unternehmen derzeit wegen Urheberrechtsverletzungen verklagt. Um die Genauigkeit von ChatGPT zu testen, wurden gezielt Zitate ausgewählt, bei denen eine Google- oder Bing-Suche den Originalartikel unter den ersten drei Ergebnissen anzeigt. Insgesamt analysierte das Forschungsteam 200 Zitate aus jeweils zehn Artikeln von 20 zufällig ausgewählten Verlagen.
Das Ergebnis der Analyse war ernüchternd. Wie sich herausstellte, konnte ChatGPT die meisten Zitate nicht korrekt zuordnen. Während einige Inhalte mit genauen Angaben zu Herausgeber, Datum und URL versehen waren, enthielten viele andere grobe Fehler. Die meisten Ergebnisse lagen irgendwo dazwischen. Von den 200 getesteten Zitaten lieferte ChatGPT in 153 Fällen Informationen, die entweder teilweise oder sogar komplett falsch waren. Besonders problematisch: Nur in sieben dieser Fälle gab das Tool zu, dass es die Anfrage nicht vollständig beantworten konnte.
Wie sinnvoll sind Lizenzverträge mit OpenAI wirklich?
Die Studie der Columbia Journalism School wirft aus Verlagssicht einige alarmierende Fragen auf. Besonders problematisch: Selbst für Publikationen, die OpenAI den Zugriff auf ihre Inhalte ausdrücklich untersagt haben, werden vermeintliche Quellenangaben generiert. Statt die fehlende Zugriffserlaubnis ehrlich zuzugeben, behilft sich der Chatbot allerdings häufig mit frei erfundenen Daten – eine Praxis, die jegliche Transparenz vermissen lässt.
Besonders enttäuschend dürften die Ergebnisse aber auch für Medienhäuser sein, die einen Lizenzvertrag mit OpenAI abgeschlossen haben. Die Erwartung, dass ihre Inhalte aufgrund der Vereinbarung korrekt zitiert werden, scheint sich nicht zu erfüllen. Die Sinnhaftigkeit solcher Lizenzverträge wird dadurch ernsthaft in Frage stellt.
