CriticGPT: Wie ein zweites Sprachmodell ChatGPT besser machen soll
OpenAI hat CriticGPT kreiert, um ChatGPT zu verbessern. (Bild: Skorzewiak/Shutterstock)
OpenAI arbeitet daran, ChatGPT zu verbessern. Dafür hat der US-Konzern ein auf GPT‑4 basierendes Modell namens CriticGPT kreiert, um Fehler in der Codeausgabe von ChatGPT zu erkennen.
CriticGPT soll den helfen, ein besseres Feedback zu geben
Dabei kommt es zu einem Zusammenspiel zwischen KI und Mensch, denn CriticGPT soll KI-Trainer:innen helfen, ein besseres Feedback zu geben. Es überprüft in einem ersten Schritt eigenständig die Antworten von ChatGPT auf Fehler und in einem zweiten Schritt lässt es Menschen beurteilen, ob die Einschätzung korrekt war.
„Wir haben festgestellt, dass Menschen, die Hilfe von CriticGPT erhalten, um den ChatGPT-Code zu überprüfen, 60 Prozent der Zeit besser abschneiden als Menschen ohne Hilfe“, teilte OpenAI in einer Erklärung mit. CriticGPT sei darauf trainiert, „Ungenauigkeiten in ChatGPT-Antworten“ hervorzuheben.
RLHF-Methode kommt auch bei CriticGPT zum Einsatz
So wie ChatGPT wurde auch CriticGPT mit der sogenannten RLHF-Methode trainiert. Das steht für Reinforcement Learning from Human Feedback und zielt laut Golem darauf ab, „den Chatbot zu korrigieren oder ihm etwas beizubringen, was in sein Training einfließt“. Anders als ChatGPT erkannte CriticGPT laut OpenAI eine große Anzahl von Eingaben, die Fehler enthielten.
OpenAI gab aber auch zu verstehen, dass CriticGPT noch in den Kinderschuhen stecke. Zu Trainingszwecken wurden bisher kurze ChatGPT-Antworten herangezogen. Es gelte nun, Methoden zu entwickeln, auch lange und komplexe Aufgaben zu verstehen, teilte der Konzern mit. CriticGPT könne nur bis zu einem gewissen Grad helfen: Wenn eine Aufgabe oder Antwort extrem komplex sei, könne selbst ein „Experte mit Modellhilfe sie möglicherweise nicht richtig bewerten“.
Renommierter Professor spricht von logischer Weiterentwicklung
Die Anwendung von RLHF auf GPT‑4 sei aber vielversprechend, „um Menschen dabei zu helfen, bessere RLHF-Daten für GPT‑4 zu erstellen“, teilte OpenAI mit. Deshalb sei geplant, diese Arbeit weiter auszuweiten.
Für Dylan Hadfield-Menell, Professor am renommierten Massachusetts Institute of Technology (MIT), ist die Vorgehensweise von OpenAI eine logische Weiterentwicklung. Die Idee, KI-Modelle zum Training von noch leistungsfähigeren Modellen zu verwenden, werde bereits seit einiger Zeit diskutiert, sagte er wired.com.
