KI-Tools wie Copilot sollen Programmieren eigentlich das Leben erleichtern, indem sie ihnen dabei helfen, ihren Code zu schreiben. Scheinbar funktioniert das momentan aber noch nicht ganz so gut wie erhofft.

Eine Studie der Stanford University mit dem Titel „Schreiben Benutzer mit KI-Assistenten mehr unsicheren Code?“ zeigt, dass Programmierer mit KI-Hilfe mehr Fehler machen und mehr Angriffsfläche für Hacker in ihrem Code bieten als Programmierer, die ohne Hilfe arbeiten, wie The Register berichtet.

„Wir haben festgestellt, dass Teilnehmer mit Zugang zu einem KI-Assistenten oft mehr Sicherheitslücken produzierten als diejenigen ohne Zugang, mit besonders signifikanten Ergebnissen für String-Verschlüsselung und SQL-Injection“, heißt es in der Studie.

„Überraschenderweise haben wir auch festgestellt, dass Teilnehmer, die Zugang zu einem KI-Assistenten hatten, eher glaubten, dass sie sicheren Code geschrieben haben, als diejenigen, die keinen Zugang zum KI-Assistenten hatten.“

Wie in der Studie erwähnt, ist der Code der Programmierer mit KI-Hilfe nicht nur unsicherer, sie glauben gleichzeitig auch, dass sie sichereren Code geschrieben haben als die Gruppe ohne KI-Zugang.

An der Studie nahmen 47 Programmierer teil, die verschiedene Erfahrungen auf dem Gebiet aufweisen konnten. Es waren Studenten, Doktoranden sowie erfahrene Programmierer aus der Industrie vertreten.

In der Studie wurden den Teilnehmern verschiedene Coding-Aufgaben gestellt, die sich lösen mussten. Bei vielen Fragen schrieben die Teilnehmer ohne KI-Coder an der Hand Code mit weniger Bugs, bei einer Aufgabe gab es aber gemischte Ergebnisse.

„Obwohl die Ergebnisse nicht schlüssig sind, ob der KI-Assistent den Teilnehmern geholfen oder geschadet hat, beobachten wir, dass die Teilnehmer in der [KI-Assistent]-Gruppe mit signifikant höherer Wahrscheinlichkeit ganzzahlige Überlauffehler in ihre Lösungen einführten (p < 0,02)“, so die Forscher.

Die Forscher haben die Studie allerdings nicht durchgeführt, um zu zeigen, wie schlecht KI-Assistenten sind. Im Gegenteil: Sie hoffen, dass sie dabei helfen kann, die Coding-Assistenten in Zukunft zu verbessern, da diese Programmierern Zeit sparen können und die Einstiegshürden in den Beruf verringern.