ChatGPT o1: Revolutionär oder enttäuschend? Einfache Aufgaben bringen KI ins Straucheln
Auch das neue GPT-Modell macht noch einfache Fehler. (Foto: PixieMe / Shutterstock)
Mitte September hatte OpenAI das neues KI-Modell o1-Preview veröffentlicht, das zuvor unter dem Codenamen Strawberry bekannt war. Es soll in der Lage sein, ähnlich wie ein Mensch zu denken und auch anspruchsvolle Aufgaben in den Bereichen Physik, Chemie oder Biologie zu bewältigen.
In der Ankündigung erklärte OpenAI sogar, dass das Modell bei herausfordernden Benchmark-Tests ähnlich gut wie ein Doktorand abschneide. Bei simplen Aufgaben kommt es aber noch immer ins Straucheln. Das berichten erste Tester.
Auch o1 macht noch simple Fehler
Demnach macht auch die neue Version von ChatGPT simple Fehler. Der Forscher Mathieu Acher von der Insa Rennes in Frankreich berichtet auf X zum Beispiel, dass das Modell in Schachpuzzles irreguläre Züge vorschlägt. Ihm zufolge sei das ein Fehler, den GPT4o und GPT 3.5 bereits gemacht haben.
Colin Fraser, ein Forscher von Meta-AI, teilt eine Reihe von Screenshots, die zeigen, wie das neue GPT-Modell ein einfaches Logikrätsel lösen soll. Dabei geht es darum, wie viele Überfahrten ein Schäfer braucht, um seine drei Schafe über den Fluss zu transportieren. GPTo1 gibt die falsche Antwort.
Der KI-Entwickler Navid Moghaddam hat außerdem noch einen Fehler gefunden, den bereits ChatGPT4o und andere Modelle gemacht haben. Fragt man das Modell, wie oft der Buchstabe „R” in dem Wort Strawberry vorkommt, gibt es auch nach kurzem Überlegen manchmal noch die falsche Antwort. Das ist ein Satz, mit dem viele künstliche Intelligenzen immer wieder Probleme haben.
Das neue Modell ist nicht perfekt
Momentan handelt es sich bei GPT-o1 noch um eine Preview-Version, die nur für zahlende Nutzer verfügbar ist. OpenAI selbst gab auch zu, dass es noch eine frühe Phase für das Modell ist und noch einige Funktionen fehlen, die in GPT4o bereits integriert sind. So habe das neue Modell eben Schwächen bei der Texterstellung und Bildverarbeitung sowie bei Fragen nach aktuellen Ereignissen.
OpenAI verspricht regelmäßige Updates für das neue Modell und deutliche Verbesserungen bei zukünftigen Versionen. Laut Futurism soll der Denkprozess des Modells noch verlängert werden.
Der KI-Forscher Noam Brown schreibt, dass künftige Versionen des Modells sogar für Tage oder Wochen nachdenken könnten, dann aber möglicherweise revolutionäre Antworten entstehen, die zu wissenschaftlichen Durchbrüchen führen.
Das wird von einigen KI-Forschern wie Gary Marcus allerdings kritisch gesehen und auch die oben genannten Patzer weisen darauf hin, dass das Modell noch viel lernen muss, bevor es zu Durchbrüchen kommt.
