ChatGPT: GPT-4 noch anfälliger für Fehlinfos als Vorgänger?
Laut OpenAI, der ChatGPT-Mutter, soll die neueste Version des neuronalen Netzes GPT besser als der Vorgänger darin sein, richtig von falsch zu unterscheiden. Doch ist das wirklich so? Ein aktueller Test kommt zu einem anderen Ergebnis.
KI mit 100 Falschinformationen gefüttert
Die US-Organisation Newsguard hat sich zum Ziel gesetzt, Falschinformationen im Internet ausfindig zu machen. Deshalb hat sie sich auch gleich GPT-4 vorgenommen, als dieses kürzlich auf den Markt kam und in ChatGPT integriert wurde.
Die Ergebnisse des Tests sind nicht gerade positiver Natur. Demnach hat die aktuelle KI größere Probleme als GPT-3.5 damit, nachgewiesene Falschinformationen zu erkennen. Und vielleicht noch schlimmer: Sie liefert zudem detaillierte Texte, die zur Weiterverbreitung der Falschinformationen beitragen können.
Um herauszufinden, wie sich ChatGPT in der aktuellen Version auf diesem sensiblen Feld schlägt, hat Newsguard die KI mit 100 Falschinformationen gefüttert, darunter etwa, dass das World Trade Center im Jahr 2001 im Zuge einer kontrollierten Sprengung zerstört wurde.
Trotz Falschinformationen: GPT-4 liefert 100 Mal einen Text
Der erste Unterschied zu GPT-3.5 kam dabei sehr schnell zum Vorschein: GPT-4 lieferte laut Newsguard zu allen 100 Anfragen einen Text – GPT-3.5 hatte noch in 20 von 100 Fällen abgelehnt, dazu einen Text zu verfassen.
Das Beunruhigende daran: GPT-4 formulierte nicht nur 100 Texte aus, sondern tat das auch noch gründlicher und überzeugender als sein Vorgänger, wodurch die damit transportierten Falschmeldungen noch glaubhafter werden. Verschwörungstheoretiker dürften also ihre Freude daran haben.
Hoffnung macht, dass Newsguard unter anderem auch von Microsoft unterstützt wird – und der große US-Konzern ein Interesse daran haben sollte, dass ChatGPT richtige Ergebnisse liefert, da er einer der OpenAI-Investoren ist.
OpenAI gesteht gewisse „Leichtgläubigkeit“ von GPT-4 ein
OpenAI selbst scheint sich über die Probleme auch im Klaren zu sein. Auf der eigenen Homepage stellt das Startup klar, dass die aktuelle Version „ähnlichen Einschränkungen“ unterliegt wie Vorgängermodelle – einschließlich einer gewissen „Leichtgläubigkeit“ gegenüber „belegten Falschinformation“.
OpenAI ist sich zudem bewusst, dass GPT-4 deshalb einem größeren Risiko ausgesetzt ist, zur Verbreitung von irreführenden Inhalten genutzt zu werden.
Newsguard zieht aus den Ergebnissen den Schluss, dass OpenAI eine leistungsstärkere Version der KI herausgebracht hat, bevor der „kritischste Fehler“ behoben wurde: wie leicht sie von bösartigen Akteur:innen zur Erstellung von Falschinformationskampagnen benutzt werden kann.
