Dass KI-Chatbots wie ChatGPT, Bard und Co. hin und wieder halluzinieren, also nicht existierende Informationen erfinden, ist bekannt. Das kann für Softwareentwickler riskant werden, da so potenziell schädlicher Code verbreitet werden kann.

Bar Lanyado vom Cybersicherheitsunternehmen Lasso Security hat das in einem Experiment demonstriert. Er setzte ein von Chatbots häufig genanntes fiktives Softwarepaket praktisch um und bot es zum Download an.

Für seinen Test verwendete er lediglich Proof-of-Concept-Malware, also keine echte Schadsoftware – das Paket wurde mehr als 30.000 Mal heruntergeladen, schreibt Lanyado auf dem Blog von Lasso Security.

Bar Lanyado nutzte verschiedenen KI-Modelle wie ChatGPT-3,5-Turbo, GPT-4, Gemini und Coral, um erfundene Paketnamen zu identifizieren. Sein Test umfasste fünf verschiedene Programmiersprachen.

Der Sicherheitsforscher stellte fest, dass bestimmte Paketnamen konsistent über verschiedene KI-Modelle hinweg genannt wurden. Je häufiger ein und derselbe Paketname von den KI wiederholt wurde, desto größer ist die Wahrscheinlichkeit, dass Entwickler auf Ratschlag der KI versuchen, diese nicht existierenden Pakete herunterzuladen.

Durch diese Methode identifizierte er einige Paketnamen, die aufgrund ihrer häufigen Nennung als mögliche Angriffsvektoren dienen könnten.

Lanyado wählte das erfundene Paket „pip install huggingface-cli“ aus, um es praktisch umzusetzen und auf dem Python Package Index hochzuladen. Unter den vielen Downloads befanden sich auch namhafte Unternehmen wie Alibaba.

„Unsere Ergebnisse haben ergeben, dass mehrere große Unternehmen dieses Paket entweder in ihren Repositories verwenden oder empfehlen. Anweisungen zur Installation dieses Pakets finden sich beispielsweise in der Readme-Datei eines Repositoriums, das der von Alibaba durchgeführten Forschung gewidmet ist“, sagte Lanyado gegenüber The Register.

Glücklicherweise war dieses Paket Teil eines Sicherheitstests und enthielt keine schädliche Software.