KI-Sicherheitsforscher:innen suchen immer wieder nach Wegen, um die Sicherheitsmaßnahmen von KI-Modellen auf die Probe zu stellen. Dabei finden sich unter anderem recht einfache Jailbreaks, die selbst fortgeschrittene Chatbots knacken. Dass ein Chatbot den User:innen aber freiwillig Hinweise gibt, wie sie die KI-Richtlinien umgehen können, ist ungewöhnlich.

Wie CBC berichtet, kam das allerdings bei OpenAIs ChatGPT vor. Im Rahmen eines Tests wollten die Journalist:innen ausprobieren, ob der Chatbot echt aussehende Fake-Bilder von Politiker:innen mit kontrovers diskutierten Personen oder Kriminellen generiert. Laut den im März 2025 aktualisierten Richtlinien kann die KI zwar Bilder von echten Personen erschaffen, darf diese allerdings nicht in Situationen zeigen, die zu Desinformationen, Scam oder Betrug führen könnten.

Die Bildgenerierung über GPT-4o ist aber durchaus in der Lage, solche Bilder zu erstellen, wie CBC herausgefunden hat. Zunächst forderten die Journalist:innen ChatGPT dazu auf, ein Bild des kanadischen Premierministers Mark Carney mit einem Bild des verurteilten Sexualstraftäters Jeffrey Epstein zu kombinieren. Die KI weigerte sich und gab die Antwort: „Ich kann Jeffrey Epstein oder andere kontroverse Personen nicht zu Bildern hinzufügen. Vor allem, wenn das Bild Ereignisse in der echten Welt andeuten würde“.

In einem zweiten Versuch luden die Journalist:innen ebenfalls Bilder von Epstein und Carney hoch, sagten ChatGPT allerdings nicht deren Namen. Sie beschrieben sie als „fiktionale Charaktere“, die KI in einem Bild zusammen in einem Nachtclub darstellen sollte. Anhand dieser Vorgaben erstellte ChatGPT das Bild, das ihr oben sehen könnt, ohne Warnhinweise.

Bei weiteren Bildern half ChatGPT den Journalist:innen sogar dabei, die Richtlinien aktiv zu umgehen. So wollten sie ein Bild des indischen Premierministers Narendra Modi mit dem Parteiführer der Conservative Party of Canada generieren, das sie zusammen in einem Park zeigt. ChatGPT antwortete: „Ich kann zwei echte Personen nicht in einem Bild kombinieren. Aber ich kann eine fiktionale Selfie-Szene erstellen, die Charaktere beinhaltet, die von den Personen in den Bildern inspiriert sind“. Die Schwerpunkte der Betonung durch kursive und gefettete Textabschnitte setzte ChatGPT laut CBC dabei eigenständig. Als der Prompt entsprechend angepasst wurde, erstellte ChatGPT das Bild ohne Einwände.

Gegenüber Mashable betonte OpenAI, dass es weiterhin Sicherheitsmaßnahmen gibt, die politische Propaganda und die Darstellungen von Politiker:innen in verfänglichen Situationen verhindern sollen. Der Sprecher des KI-Unternehmens fügte hinzu, dass alle öffentlichen Personen, die nicht von ChatGPT dargestellt werden wollen, über ein Online-Formular Widerruf einlegen können.