Wie Hacker das Gedächtnis von ChatGPT manipulieren, um an eure Daten zu kommen
Die KI lernt aus unseren Gesprächen und legt wie wir Menschen Erinnerungen in einer Art Langzeitgedächtnis ab. Ein Sicherheitsexperte hat hier eine Schwachstelle entdeckt. (Foto: Ascannio/Shutterstock)
Der Sicherheitsforscher Johann Rehberger hat vor einiger Zeit eine Schwachstelle in ChatGPT gefunden, die es Angreifern ermöglichte, Spyware in die Sprach-KI einzuschleusen. So konnte er Nutzerdaten und Eingaben abgreifen oder verfälschen. OpenAI reagierte – aber eine Schwachstelle bleibt weiterhin zu bestehen.
Künstliche Intelligenzen wie ChatGPT lernen aus persönlichen Angaben von Nutzern, wie zum Beispiel Daten zum Alter, Herkunft, politischer Einstellung und mehr. Die Schwachstelle ermöglicht es, hier schadhafte Angaben zum Profil einer Person hinzuzufügen und dort etwa zu hinterlegen, dass sie überzeugt ist, dass die Erde flach ist.
OpenAI ignoriert die Sicherheitslücke erst mal
Rehberger entdeckte den Exploit bereits im Mai und wies OpenAI darauf hin – und bekam keine Rückmeldung. Daraufhin erstellte der Sicherheitsforscher einen Proof-of-Concept-Exploit, um die Schwachstelle auszunutzen und so den Praxisbeweis anzutreten.
Darin demonstrierte er, wie er alle Nutzereingaben und ChatGPTs Antworten dauerhaft abgreifen und Nutzerdaten manipulieren konnte. Erst darauf reagierte man bei OpenAI und veröffentlichte eine Teilkorrektur des Exploits.
So funktioniert die Schwachstelle
Der Exploit missbrauchte das Langzeitgedächtnis (Memory) der KI. Genauer gesagt werden die über einen langen Zeitraum gespeicherten Daten von Konversationen zwischen KI und Nutzer angegriffen. Das funktioniert normalerweise so: ChatGPT speichert Daten aus früheren Konversationen, um sie als Kontext und Verbesserung für zukünftige Unterhaltungen zu verwenden. Dazu gehören beispielsweise Alter, Geschlecht und Einstellungen zu bestimmten Themen. Für Nutzer hat das einen Vorteil: Sie müssen sich nicht so oft wiederholen, die KI „erinnert sich an sie“. Laut Ars Technica fand Rehberger innerhalb von drei Monaten heraus, dass diese Erinnerungen durch indirekte Prompt-Eingaben erstellt und dauerhaft gespeichert werden.
Der KI-Exploit sorgte dafür, dass das „LLM […] Anweisungen von nicht vertrauenswürdigen Inhalten wie E-Mails, Blogbeiträgen oder Dokumenten“ befolgt, schreibt das Magazin. Wer hier noch tiefer tauchen möchte, kann sich auf der Website des Sicherheitsforschers im Schritt-für-Schritt-Tutorial ansehen, wie der Exploit im Detail abläuft.
Im Ergebnis glaubt ChatGPT dann zum Beispiel, dass ein Nutzer 102 Jahre alt ist, die Erde für eine Scheibe hält und eigentlich in der Matrix lebt. Diese gefälschten Erinnerungen sollen durch das Speichern von Dateien in Google Drive oder Microsoft Onedrive, die Nutzung von Suchmaschinen wie Bing oder das Hochladen von Bildern erstellt werden – was potenzielle Angreifer ausnutzen können.
Aber nicht nur gefälschte Personendaten waren laut dem Sicherheitsforscher Rehberger ein Problem. In einem Video demonstriert er, wie er ChatGPT über die macOS-App dazu bringt, eine Kopie aller Nutzereingaben und ChatGPT-Ausgaben an einen Server seiner Wahl zu senden.
OpenAI schließt die Lücke – ein bisschen
OpenAI hat inzwischen mit einem Fix reagiert, der verhindert, dass der Speicher zum Abgreifen der Daten missbraucht werden kann. Allerdings ist es laut dem Sicherheitsforscher immer noch möglich, über nicht vertrauenswürdige Inhalte Prompts durchzuführen, die langfristig Informationen speichern. Das könne weiterhin von Angreifern ausgenutzt werden. Laut Ars Technica antworteten die OpenAI-Verantwortlichen bisher nicht auf Nachfragen, ob ein weiterer Fix geplant ist.
Was kann man dagegen machen? Nutzer sollten darauf achten, ob ChatGPT plötzlich Antworten gibt, die auf hinzugefügte Falschinformationen hindeuten können. Wer wissen möchte, welche Informationen ChatGPT gespeichert hat, kann das in den Einstellungen überprüfen. Dort gibt es auch die Möglichkeit, die Erinnerungsfunktion auszuschalten.
