Warum KI Menschen in diesem Strategiespiel dominiert – und warum wir trotzdem in einem Punkt besser sind
Diplomacy ist erstmals 1959 als Brettspiel erschienen. In dem Strategiespiel werden die europäischen Machtverhältnisse kurz vor Ausbruch des Ersten Weltkrieges abgebildet. Spieler:innen übernehmen jeweils die Geschicke eines Landes und müssen Allianzen schmieden, mit Mitspieler:innen verhandeln und sich am Ende die Vorherrschaft durch die meisten Gebiete sichern.
Schon 1986 wurde Diplomacy auch als Videospiel adaptiert und seither für mehrere Plattformen veröffentlicht. Was das Strategiespiel noch so besonders macht: Seit 2022 gibt es KI-Modelle, die Diplomacy spielen – und das auf einem hohen Niveau. Damals hatte Meta die KI CICERO geschaffen, die Spieler:innen mit einem deutlichen Vorsprung in 40 Matches schlagen konnte. In den Partien erzielte die KI durchschnittlich doppelt so viele Punkte wie Menschen.
Warum siegt die KI in Diplomacy?
Wissenschaftler:innen mehrerer Universitäten und Forschungsinstitute haben sich zusammengetan, um die Frage zu klären, warum CICERO so gut abschneiden konnte (via TechXplore). Vor allem, da es neben dem eigentlichen Strategieaspekt in Diplomacy darum geht, mit Mitspieler:innen zu kommunizieren, mit ihnen zu verhandeln und sie im Zweifel hinters Licht zu führen – Dinge, die eine KI nicht gut kann.
In der Studie haben die Forscher:innen CICERO erneut gegen menschliche Diplomacy-Spieler:innen antreten lassen. In 24 Partien, die insgesamt mehr als 200 Stunden Spielzeit umfassten, könnte sich CICERO in 20 Matches den Sieg sichern. Allerdings schauten die Forscher:innen nicht primär auf den Highscore der KI, sondern deren Kommunikationsfertigkeiten.
Im Laufe der 24 Partien wurden insgesamt 27.000 Nachrichten zwischen Spieler:innen und KI aufgezeichnet. Diese wurden über Abstract Meaning Representation vereinfacht, um besser ausgewertet zu werden. Im Grunde wird dabei herausgestellt, ob sich Spieler:innen und KI an die Dinge gehalten haben, die sie in den Nachrichten versprochen haben. Haben sie beispielsweise einen Angriffspakt ausgehandelt, wird festgehalten, ob sie diesem gefolgt sind oder den Pakt gebrochen haben.
Das Ergebnis hält Jonathan Mai, Co-Autor der Studie, in wenigen Sätzen fest: „Wenn man darauf achtet, was die KI sagt, ist es Müll. Was sie sagt, haben Diplomacy-Spieler vor ihr bereits gesagt. Es stellt nicht das dar, was sie am Ende macht“. Stattdessen konzentriert sich die KI voll auf Strategien, die sie durch die Analyse von unzähligen Diplomacy-Partien erlernt hat und die besonders viel Erfolg versprechen.
Menschen lügen in Diplomacy
Um die Ergebnisse zu verifizieren, haben die Forscher:innen die Kommunikationsfertigkeiten von CICERO im Laufe der Partien verändert. Obwohl die Nachrichten limitiert oder komplett abgeschaltet wurden, hat das nicht den Punktestand am Ende signifikant verändert. Dementsprechend lässt sich festhalten, dass die KI nicht in der Lage ist, mit Mitspieler:innen zu verhandeln oder sie gar zu täuschen.
Die Studie hat auch festgestellt, dass die menschlichen Spieler:innen deutlich häufiger über ihre Intentionen gelogen haben als die KI. Bei ihren Täuschungsversuchen waren sie auch deutlich öfter erfolgreich als CICERO. Das Lügen stieg sogar sprunghaft an, als die Spieler:innen festgestellt haben, dass CICERO eine KI ist. Danach haben sie das Programm deutlich häufiger über ihre wahren Absichten im Unklaren gelassen.
