Schmeichlerisches GPT-4o: OpenAI gibt zu, beim Testen Fehler gemacht zu haben
Nach dem jüngsten Update war der KI-Chatbot von OpenAI freundlicher, als er sein sollte. (Foto: Varavin88 / Shutterstock)
In einem jüngst veröffentlichten Blogbeitrag hat sich OpenAI dazu geäußert, was beim letzten Update der ChatGPT-Variante GPT-4o schiefgelaufen ist und dazu geführt hat, dass das Modell „deutlich unterwürfiger“ geworden war. Unter anderem wurde dabei ein zusätzliches Belohnungssignal eingeführt, das auf Nutzerfeedback in Form eines Daumen-hochs oder Daumen-runters basierte.
Dieses kurzfristige Nutzerfeedback könne „angenehmere Antworten begünstigen“, schreibt OpenAI. Zudem hätte das zusätzliche Belohnungssignal den Einfluss des primären Belohnungssignals geschwächt, das dafür verantwortlich sei, „die Speichelleckerei in Schach“ zu halten.
Die Tests waren unterschiedlich ausgefallen
Als eines der Hauptprobleme nennt das KI-Startup zudem den Umstand, dass das Update noch während des Testprozesses ausgerollt worden sei. Während die Offline-Bewertungen sowie die A/B-Tests gut ausgefallen seien, hatten Expertentester:innen sehr wohl darauf hingewiesen, dass sich das Modell „seltsam“ verhalte.
Nachdem das Update am 24. April ausgespielt worden war, war OpenAI nach eigener Angabe drei Tage später klar, „dass das Verhalten des Modells nicht unseren Erwartungen entsprach“. Daraufhin wurde ein Rollback auf die vorherige GPT-4o-Version eigeleitet, die ChatGPT bis zur Klärung des Problems nutzen wird.
OpenAI hält langfristige Verbesserungen für nötig
Das Unternehmen arbeite nun daran, der Ursache des Problems vollständig auf den Grund zu gehen und langfristige Verbesserungen vorzunehmen. Vor diesem Schritt hatten sich Berichte über die Unzulänglichkeit von GPT-4o gehäuft.
Das Magazin Ars Technica hatte zum Beispiel geschrieben: „Fragen Sie ChatGPT in letzter Zeit irgendetwas – wie man ein Ei pochiert, ob man einen Kaktus umarmen sollte – und Sie werden möglicherweise mit einer Flut von Lobeshymnen begrüßt.“ Verschiedene User:innen hatten einigermaßen irritiert festgestellt, dass selbst simple Fragestellungen von der KI als „sehr schlau“ kommentiert worden waren.
Schließlich hatte selbst der OpenAI-CEO Sam Altman auf X geschrieben, die „Persönlichkeit“ von GPT-4o sei durch die jüngsten Updates “zu schmeichlerisch und nervig“ geworden.
