Die fast schon historische Atari-Konsole. (Foto: Pit Stock / Shutterstock)
Viele KI-Systeme verwenden in Games sogenanntes Verstärkungslernen. Eine Art Belohnungssystem, bei dem ein Algorithmus der KI nach jedem Schritt eine positive oder negative Rückmeldung auf dem Weg zu einem bestimmten Ziel gibt. Mit dieser Technik wird die KI ermutigt, bestimmte Lösungsansätze weiterzuverfolgen. Sind diese erfolgreich, bekommt sie ein positives Signal.
Adrien Ecoffet von Uber AI Labs und Open AI in Kalifornien hat zusammen mit seinen Kollegen die Hypothese aufgestellt, dass die KI durch diese Algorithmen zwar einen richtigen Weg nimmt, der schlussendlich auch zum Ziel führt, dabei jedoch eventuell vielversprechendere Optionen außer Acht lässt.
Um dieses Problem zu lösen, hat Ecoffet mit seinem Team einen Algorithmus entwickelt, der sich an seine verschiedenen Ansätze zurückerinnert. Wirkt ein Weg nicht so gewinnbringend, wie erhofft, kehrt die KI an einen Punkt zurück, an der ihr Score besonders hoch war, und probiert weitere Optionen aus. Die KI profitiert quasi von ihrem Gedächtnis.
Von Atari-Games in den Alltag?
Die Forscher ließen die KI eine Auswahl von 55 Atari-Spielen spielen, die durch ihre Komplexität im kognitiven Bereich gut für maschinelles Lernen geeignet sind. In 85,5 Prozent der Fälle konnte die KI mit ihren Erinnerungen bessere Ergebnisse erzielen als andere KI-Systeme zuvor. Da Atari-Spiele es natürlich ursprünglich nicht erlauben, zu einem beliebigen Punkt im Spiel zurückzukehren, verwendeten die Forscher einen Emulator, der dies möglich machte.
Eins der herausforderndsten Atari Games ist zweifelsohne „Montezumas Revenge“. Hier erzielte die KI einen höheren Score als die vormals beste künstliche Intelligenz und brach gleichzeitig auch den menschlichen Weltrekord. Mithilfe dieser Ergebnisse trainierten die Forscher ein neuronales Netzwerk, das die verwendete Strategie replizieren und das Spiel auf dem normalen Weg zocken sollte, ohne auf die Speicherstände des Emulators zurückgreifen zu müssen.
Ganz ohne Grund probieren die Wissenschaftler diese Wege der Zielfindung natürlich nicht aus. In ihrer bei Nature veröffentlichten Studie schreiben sie, dass sie sich von der KI einen praktischen Nutzen erhoffen, mit dem sie sich auch in alltagsrelevanten Situationen bewähren und zu einer schnellen und effizienten Problemlösung beitragen kann.
