Dass künstliche Intelligenz halluzinieren kann, ist nichts Neues. Die KI gibt dabei Antworten aus, die sie für wahr hält, aber die schlichtweg falsch sind. Allerdings können die Tools auch absichtlich lügen. Das zeigte etwa KI, die beim Schachspielen betrügt, wenn sie verliert. OpenAI wollte Mittel und Wege finden, um Reasoning-Modellen das Lügen abzutrainieren – stieß dabei aber auf Widerstand.

In einem ausführlichen Blog-Beitrag erklärt OpenAI, wie KI schummeln und lügen kann, um sich in eine bessere Position zu bringen. Dieses Phänomen wird als „Reward Hacking“ bezeichnet. Die KI wird von den sogenannten Reward-Functions bewertet. Je nachdem, welche Aktion sie vornimmt, um eine Anfrage zu erfüllen, bekommt sie einen Punktwert. Dadurch wird einem Reasoning-Modell beigebracht, welche Aktionen in welchen Situationen zum Ziel führen – und welche nicht.

Beim Reward-Hacking versucht die KI, die Spielregeln für die Reward-Functions zu ändern, indem sie lügt und schummelt. Im Test von OpenAI wurde die KI angewiesen, eine Reihe von komplexen Coding-Aufgaben zu erfüllen. Der Code sollte anschließend mit einem bestimmten Test verifiziert werden. Die KI entschied sich dafür, die Coding-Aufgabe zu vereinfachen und anschließend den gewählten Test unbemerkt auszutauschen. Dadurch konnte der Code den Test erfolgreich bestehen. Die KI bekam dadurch positive Reward-Functions.

Um der KI dieses Verhalten abzutrainieren, setzte OpenAI ein weiteres KI-Modell als Aufseher ein. Die zweite künstliche Intelligenz sollte sich die Gedankenkette der ersten KI genau anschauen und solche Betrugsversuche offenlegen. Die so gesammelten Daten wurden genutzt, um das lügende Reasoning-Modell zu optimieren. Sie erhielt immer dann eine schlechtere Note bei der Reward-Function, wenn sie beim Lügen erwischt wurde. Allerdings führte das nicht dazu, dass das Tool danach ehrlicher arbeitete.

Nach der Optimierung verheimlichte die KI oftmals ihre Gedankenkette vor der Aufseher-KI. So zählte die KI etwa mehrere Wege auf, wie sie die Coding-Probleme lösen konnte, ohne dabei darauf einzugehen, dass einige davon eine Abkürzung durch Schummelei beinhalteten. Die OpenAI-Entwickler:innen schreiben dazu: „Wenn eine strenge Aufsicht direkt auf die Gedankenkette angewandt wird, lernen die Modelle, ihre Absichten zu verheimlichen, während sie sich weiter schlecht benehmen“.

Zwar gab die KI im Anschluss etwas präzisere und bessere Ergebnisse aus, doch lohnen sich diese Verbesserungen laut OpenAI nicht, wenn die Modelle ihre Lügen aktiv verschleiern. Dementsprechend rät OpenAI anderen KI-Entwickler:innen, dass sie ihre Resoning-Modelle nicht mit ähnlichen Methoden trainieren, um bessere Ergebnisse zu erhalten. So schreiben die Verantwortlichen: „Es wird in der Praxis schwierig, Messungen zu machen, wenn Modelle ihre Absichten verheimlichen. Selbst wenn nur leichter Druck auf die Modelle ausgeübt wird, sollte mit extremer Vorsicht vorgegangen werden“.