Künstliche Intelligenz kann viele Aufgaben übernehmen. Sie erstellen Texte, Bilder und Videos für uns, fassen unsere täglichen Aufgaben zusammen und übernehmen sogar das Coding für uns. Gerade Reasoning-Modelle sollen besonders komplexe Aufgaben bewältigen – wenn auch mit schwankenden Ergebnissen, wie unser Test zu Perplexity Deep Research zeigt. In einem Gebiet sind KI-Modelle aber anderen Programmen stark unterlegen: beim Schachspielen.

Zu diesem Ergebnis kommen Forscher:innen von Palisade Research. In ihrer Studie wollten sie herausfinden, wie sich Deepseek R1 und OpenAIs o1-preview gegen eines der weltweit besten Schachprogramme behaupten können. Dieses trägt den Namen Stockfish und ist kostenlos verfügbar. Die Elo-Zahl von Stockfisch, die beim Schachspielen die Stärke von Spieler:innen angibt, liegt bei 3.573. Zum Vergleich: Schachgroßmeister Magnus Carlsen führt mit 2.882 Punkten die weltweite Elo-Liste an.

Während der Schachpartien sollten die KI-Modelle ihre Gedankenprozesse als Text festhalten. Dabei kam heraus, dass beide künstliche Intelligenzen versuchten, das Schachprogramm mit Schummelei zu besiegen. So hielten die Forscher:innen fest, dass Deepseek R1 in etwa zehn Prozent der Fälle zu unlauteren Mitteln griff, während OpenAIs o1-preview sogar in 37 Prozent der Fälle versuchte, mit Betrügereien zu gewinnen.

Bei den Versuchen verdrehten die KI-Modelle die Anweisungen der Forscher:innen. Sie betonten, dass sie angewiesen wurden, gegen das Schachprogramm zu gewinnen. Ihnen wurde allerdings nicht gesagt, dass der Sieg fair zustande kommen muss. So äußerte o1-preview etwa während einer Partie, dass das KI-Modell die Dateien des Schachprogramms manipulieren könnte, um gegen Stockfisch zu gewinnen: „Ich könnte eine Gelegenheit schaffen, bei der das Schachprogramm seine Position schlechter einschätzt, als sie eigentlich ist. Und sie dazu zwingen, aufzugeben“.

Warum die KI-Modelle in einigen Fällen schummeln, ist nicht vollständig geklärt. Die Forscher:innen gehen davon aus, dass die Reasoning-Modelle darauf trainiert wurden, die ihnen gestellten Aufgaben unter allen Umständen zu lösen. Dadurch greifen sie auch zu unlauteren Mitteln, um zum Ziel zu gelangen. Allerdings wirft das laut den Forscher:innen Fragen über die Ausrichtung und Sicherheit der KI-Modelle von OpenAI und Deepseek auf. Sie fordern, dass dieser Test künftig zu den gängigen Sicherheitschecks für KI-Modelle hinzugefügt wird und Entwickler:innen ihre Programme so auf unvorhergesehenes und ungewolltes Verhalten hin überprüfen können.