KI-Halluzinationen als Cybergefahr: Hacker nutzen erfundene Softwarepakete aus
KI bietet ein beträchtlichen Angriffsvektor. (Foto: KT Stock photos / Shutterstock)
Dass KI-Chatbots wie ChatGPT, Bard und Co. hin und wieder halluzinieren, also nicht existierende Informationen erfinden, ist bekannt. Das kann für Softwareentwickler riskant werden, da so potenziell schädlicher Code verbreitet werden kann.
Bar Lanyado vom Cybersicherheitsunternehmen Lasso Security hat das in einem Experiment demonstriert. Er setzte ein von Chatbots häufig genanntes fiktives Softwarepaket praktisch um und bot es zum Download an.
Für seinen Test verwendete er lediglich Proof-of-Concept-Malware, also keine echte Schadsoftware – das Paket wurde mehr als 30.000 Mal heruntergeladen, schreibt Lanyado auf dem Blog von Lasso Security.
Chatbots halluzinieren bestimmte Softwarepakete immer wieder
Bar Lanyado nutzte verschiedenen KI-Modelle wie ChatGPT-3,5-Turbo, GPT-4, Gemini und Coral, um erfundene Paketnamen zu identifizieren. Sein Test umfasste fünf verschiedene Programmiersprachen.
Der Sicherheitsforscher stellte fest, dass bestimmte Paketnamen konsistent über verschiedene KI-Modelle hinweg genannt wurden. Je häufiger ein und derselbe Paketname von den KI wiederholt wurde, desto größer ist die Wahrscheinlichkeit, dass Entwickler auf Ratschlag der KI versuchen, diese nicht existierenden Pakete herunterzuladen.
Durch diese Methode identifizierte er einige Paketnamen, die aufgrund ihrer häufigen Nennung als mögliche Angriffsvektoren dienen könnten.
Auch Alibaba lädt das Testpaket herunter
Lanyado wählte das erfundene Paket „pip install huggingface-cli“ aus, um es praktisch umzusetzen und auf dem Python Package Index hochzuladen. Unter den vielen Downloads befanden sich auch namhafte Unternehmen wie Alibaba.
„Unsere Ergebnisse haben ergeben, dass mehrere große Unternehmen dieses Paket entweder in ihren Repositories verwenden oder empfehlen. Anweisungen zur Installation dieses Pakets finden sich beispielsweise in der Readme-Datei eines Repositoriums, das der von Alibaba durchgeführten Forschung gewidmet ist“, sagte Lanyado gegenüber The Register.
Glücklicherweise war dieses Paket Teil eines Sicherheitstests und enthielt keine schädliche Software.
Bitte beachte unsere Community-Richtlinien
Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.
Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.
Dein t3n-Team