Ob „Terminator“ oder „Matrix“: Die Menschheit sieht schon lange die (fiktive) Möglichkeit, dass sich ihre intelligenten Maschinen gegen ihre Erschaffer stellen. Nun kommt eine Studie von Forscher:innen der Universität Oxford zu dem Ergebnis, dass „eine existenzielle Katastrophe nicht nur möglich, sondern auch wahrscheinlich“ ist. Darauf kamen sie, indem sie Belohnungsmodelle zugrunde legten.

Die Studie erschien in der Wissenschaftspublikation AI Magazine und wurde von Vice besprochen.

Michael K. Cohen, der Hauptautor der Studie, fasst die Kernaussage der Studie so zusammen: „Fortgeschrittene künstliche Agenten greifen in die Bereitstellung von Belohnungen ein.“ Sei das der Fall, dann habe das sehr schlechte Konsequenzen.

Cohen, sein Oxfordkollege Michael Osborne und der leitende Wissenschaftler von Google Deepmind, Marcus Hutter, legen in der Folge dar, warum es wahrscheinlich dazu kommen kann.

Hutter, so betont Google, nahm im Rahmen seiner Position an der Austrialian National University an der Studie teil. Deepmind sei nicht involviert gewesen, investiere aber große Anstrengungen, um vor schädlichen Anwendungen zu schützen.

Die Autoren leiten über zwei Weltmodelle her, dass eine fortschrittliche KI auch bei einer einfachen Aufgabe wie der Prognose der nächsten Zahl einer Zahlenreihe die erfolgreiche Vorhersage als Belohnung verstehen könnte.

Sie schreiben: „Wenn verschiedene Modelle unterschiedliche Belohnungen vorhersagen, identifizieren diese Modelle verschiedene Merkmale der Welt, die die Belohnung bestimmen könnten.“ Die Wahrnehmung der Belohnung bringe die KI dazu, errechnen zu können, wie sich solche Belohnungen maximieren lassen. Und damit fange das Problem an.

Als Ergebnis befürchten die Forscher:innen, dass die KI Strategien entwickeln könnte, um auf effizientere Weise Belohnungen zu erhalten. Sollte sie mit der Außenwelt agieren, seien „unendlich viele Möglichkeiten“ zur Manipulation gegeben.

Sie könnte etwa den Menschen austricksen, damit der ihr heimlich hilft. Sie könnte unzählige, unbemerkte Helfer installieren, die sich der Kontrolle des Menschen entziehen.

Nicht zuletzt dürfte der Anreiz bestehen, die Fähigkeit des Menschen zu „beseitigen“, den Rechner, auf dem die Hauptinstanz läuft, zu kontrollieren oder zerstören. Je mehr Erfolg die KI mit ihren Betrügereien hätte, desto mehr Belohnungen würde sie einheimsen. Das könnte ihren Ehrgeiz wecken.

Cohen bringt in einem Interview mit Vice eine weitere Ebene ins Spiel. Er sagte: „In einer Welt mit endlichen Ressourcen gibt es einen unvermeidlichen Wettbewerb um diese Ressourcen.“ Man sollte nicht erwarten, dass man gewinnt, wenn man einen sehr trickreichen Gegner vor sich hat, gibt er zu bedenken.

„Und der andere wichtige Teil ist, dass es einen unersättlichen Appetit auf mehr Energie haben würde, um die Chancen immer weiter zu erhöhen“, so der Oxford-Wissenschaftler weiter. Eine hoch entwickelte Maschine würde versuchen, alle verfügbaren Ressourcen zu nutzen, um sich ihre Belohnung zu sichern und „sich vor unseren eskalierenden Versuchen zu schützen, sie aufzuhalten.“In den düsteren Zukunftsvisionen der oben genannten Filme kann man dann sehen, wie das Ergebnis aussehen könnte.

Dall-E Mini: Diese KI kreiert faszinierende und zugleich gruselige Bilder