Wer löst ein Code-Problem schneller: eine künstliche Intelligenz oder ein Mensch? Das Unternehmen Deepmind – eine Tochter vom Google-Konzern Alphabet – hat dafür seine KI Alphacode im Wettbewerb mit Programmierer:innen getestet. Das Ergebnis: Die KI schnitt gut, aber nicht außergewöhnlich ab. Einige der menschlichen Teilnehmer:innen waren besser.

Getestet wurde bei einem Wettbewerb der Codeforces-Codierplattform. Auf ihr werden Probleme mit Code geteilt, die Entwickler:innen dann lösen sollen. Alphacode hat sich dabei im Vergleich wie ein Programmieranfänger mit ein paar Monaten bis einem Jahr Training geschlagen.

Zu dieser Einschätzung kommt ein Artikel des Wissenschaftsmagazins Science, über den Gizmodo berichtet hat. Alphacode soll „annährend menschliche Leistungen“ bringen können. Durchschnittlich ist sie damit unter den ersten 54,3 Prozent gelandet.

Das ist noch nicht überragend – allerdings sehen die Forscher:innen hinter der KI durchaus eine Besonderheit: Zunächst habe Alphacode das Problem verstehen und dann quasi darüber nachdenken müssen. Auswendig gelernte Muster hätten da nicht geholfen.

Die Forscher:innen schließen daraus: Alphacode musste verstehen, was das Problem ist, um Lösungsvorschläge zu machen. Zudem soll die KI nicht einfach Trainingsdaten kopiert haben, um die Code-Herausforderungen zu lösen.

Trainiert wurde die KI einerseits mit GitHub-Daten und andererseits mit Problemen und Lösungen aus Code-Wettbewerben. Diese gelernten Daten soll sie allerdings – im übertragenen Sinne – nicht einfach abgeschrieben, sondern sich selbst die Lösungen erarbeitet haben. Schließlich waren die im Wettbewerb stehenden Probleme auch neu und bisher unbekannt.

Wie das geht? Alphacode hat nicht nur gelernt, Problem zu erkennen und Lösungsvorschläge zu machen, sondern auch unter diesen zu filtern und nur einige auszuwählen, die dann tatsächlich getestet werden sollen.

Das hat die KI auch bei dem Code-Wettbewerb zum Vergleich mit Menschen gemacht. Inwieweit Alphacode tatsächlich Verständnis für die Aufgaben hat, ist allerdings unklar.

Alphacode hat übrigens nicht nur menschliche Konkurrenz, auch andere KI-Projekte kommen voran. OpenAI tüftelt beispielsweise weiter an seinem KI-Sprachmodell GPT-3. Dessen Chatbot ChatGTP hat im Dezember 2022 für einen wahren Hype gesorgt. Und GitHub hat das KI-Programmiertool Copilot.

Alphacode hat in diesem Jahr noch einige Erfolge verbuchen können: Die KI soll zum Beispiel Fragestellungen gelöst haben, die Entwickler:innen schon seit Jahren umtreiben. Außerdem wurde ihr schon Anfang des Jahres Stärke beim Programmieren bescheinigt – damals gab es allerdings auch die Sorge, die KI könnte ihren Code selbst verändern. Wie das mit dem jetzt genannten Level als Anfänger zusammenpasst, ist offen.