Auch eine „übermenschliche“ KI lässt sich schlagen – man muss nur wissen, wie
Wer Brett- und Strategiespiele wie Go oder Schach spielt, kennt die Situation vielleicht: Selbst gegen schlechtere Gegner:innen kann man in Bedrängnis geraten – vor allem dann, wenn diese, ob bewusst oder nicht, unkonventionelle Züge machen und plötzlich bekannte Strategien nicht mehr funktionieren. Wie Forscher der gemeinnützigen US-Organisation FAR AI jetzt herausgefunden haben, lassen sich aber auch KI-Systeme mit mutmaßlich „übermenschlichen“ Fähigkeiten auf diese Art und Weise überlisten.
FAR AI hat für die Arbeit das Brettspiel Go untersucht, das aufgrund seiner Komplexität regelmäßig in der KI-Forschung zum Einsatz kommt. Aktuell gilt das Programm KataGo als eines der spielstärksten Programme, das problemlos die besten menschlichen Spieler:innen der Welt schlagen kann. Schon 2022 hatten Forscher:innen allerdings gezeigt, dass sich KataGo mit sogenannten feindlichen Angriffen (Adversarial Attacks) manipulieren ließ. Feindlich gesinnte Bots fanden in der KI Schwachstellen in Form unkonventioneller Züge und Strategien, die anschließend auch menschliche Spieler zuverlässig anwenden konnten, um KataGo (und andere bekannte Go-Programme) zu schlagen.
Das Team von FAR AI um den KI-Forscher Adam Gleave, der bereits an der 2022er Studie beteiligt war, wollte nun herausfinden, ob es Möglichkeiten gibt, Programme wie KataGo besser gegen solche Angriffe zu schützen. Die Ergebnisse wurden vor kurzem als Preprint veröffentlicht und sind noch nicht durch unabhängige Expert:innen geprüft worden. Das Ergebnis: Selbst vergleichsweise simple feindliche Angriffe können die Schutzmechanismen von Programmen wie KataGo weiterhin aushebeln.
Drei löchrige Verteidigungen
Konkret haben die Forscher drei Verteidigungsmechanismen untersucht. Den ersten hatten die Entwickler von KataGo nach den Erkenntnissen aus 2022 selbst in ihr Programm eingebaut: Sie konfrontierten KataGo gezielt mit den erwähnten, manipulativen Stellungen damit das Modell selbstständig daraus lernen konnte, wie man sie am besten kontert. Tatsächlich wurde KataGo dadurch robuster – aber nur kurzzeitig. Wie das Team von FAR AI in der neuen Untersuchung zeigt, konnten die feindlichen Angriffe durch einige Anpassungen KataGo weiterhin in 91 Prozent der Fälle schlagen.
Für die zweite Verteidigung kam ein, vereinfacht gesagt, „Katz-und-Maus-Spiel“ zwischen KataGo und den Angreifern zum Einsatz, bei dem beide Seiten in mehreren Runden gegeneinander antraten und sich jeweils auf die gegenseitigen Züge angepasst haben, also immer wieder neue Strategien entwickelten. Doch auch in diesem iterativen Lernprozess hatten die Adversarial Bots letztlich die Nase vorn: Sie schlugen KataGo in 81 Prozent der Fälle.
Im dritten Fall entwickelten die Forscher eine komplett neue Go-KI, die, anders als KataGo oder AlphaGo, nicht auf einem Convolutional Neural Network (CNN) basiert, sondern einen Vision Transformer (VIT) einsetzt. Die These: Vielleicht liegt es ja am grundlegenden Aufbau der Modelle, weshalb sie angreifbar sind. Allerdings zeigte auch das neue Modell ähnliche Schwächen und verlor 78 Prozent aller Spiele gegen die Angreifer.
Keine KI ist vor Angriffen sicher
„Keine unserer Verteidigungsmaßnahmen macht Angriffe unmöglich. Wir zeigen, dass der Angriffsalgorithmus immer einen erfolgreichen Angriff finden kann“, heißt es abschließend in der Studie. Und das mit nur einem Bruchteil der Rechenleistung, die für das Training der Go-Programme erforderlich sei. Erstaunlich sei außerdem, dass die angreifenden Systeme ihrerseits ziemlich lausige Go-Spieler sind: „Wir haben sie selbst ziemlich leicht besiegt“, sagt Adam Gleave.
Mit der Studie wollen die Verantwortlichen von FAR AI zeigen, dass künstlich intelligente Systeme mutmaßlich „übermenschlichen“ Fähigkeiten zwar in allgemeinen Szenarien, aber nicht zwangsweise im Worst-Case-Szenario aufweisen. Diese Erkenntnis ist wichtig, da KI-Modelle immer tiefer in unseren Alltag eingreifen und folglich auch immer mehr im Visier feindlich gesinnter Modelle stehen.
„Solche Schwachstellen werden auch in Zukunft nur schwer zu beseitigen sein“, sagt Gleave. Und wenn sich das Problem schon in einer eingeschränkten Domäne wie Go nicht lösen lässt, dann seien auch Anwendungen wie ChatGPT nicht vor Manipulationen, etwa durch Jailbreaks, gefeit.
Googles neue KI-Suche geht nach hinten los
