Erst kürzlich hat OpenAI mit o3 und o4-mini zwei neue visuelle Reasoning-Modelle vorgestellt, die eine Vielzahl neuer Werkzeuge bieten. Trotz des technologischen Fortschritts zeigen beide Modelle allerdings eine überraschende Schwäche: Wie Techcrunch berichtet, neigen o3 und o4-mini nämlich noch häufiger zu Halluzinationen als ihre Vorgängermodelle.

Die neuen KI-Modelle o3 und o4-mini bieten zahlreiche nützliche Funktionen – darunter zum Beispiel die Websuche, eine erweiterte Memory-Funktion, Bildanalyse und die Generierung von KI-Bildern. Darüber hinaus sollen sich die zwei Modelle besonders gut beim Lösen komplexer mathematischer und wissenschaftlicher Aufgaben schlagen. Kian Katanforoosh, CEO von Workera und Dozent an der Stanford University, gibt außerdem an, dass das Modell o3 beim Programmieren der Konkurrenz überlegen sei. Trotzdem bleiben Halluzinationen ein ernstzunehmendes Problem, das bei den neuen KI-Modellen sogar noch einmal zugenommen zu haben scheint.

Laut einem technischen Bericht von OpenAI halluzinieren o3 und o4-mini häufiger als frühere Reasoning-Modelle. Besonders deutlich wird das beim internen Benchmark-Test „PersonQA“, der misst, wie präzise KI-Modelle Fragen zu realen Personen beantworten. Ältere OpenAI-Modelle wie o1 und o3-mini lagen bei einer Halluzinationsrate von rund 15 bis 16 Prozent – o3 erreichte dagegen 33 Prozent. Bei o4-mini lag die Fehlerquote sogar noch einmal höher: Das Modell halluzinierte bei 48 Prozent der Anfragen. Als besonders beunruhigend stellt sich dabei heraus, dass OpenAI aktuell selbst nicht erklären kann, warum die Häufigkeit der Halluzinationen bei den neuen Modellen zu- anstatt abgenommen hat. Denn bisher war mit jedem neuen Modell eine Verbesserung festzustellen. Das gilt für o3 und o4-mini aber offenbar nicht.

Unabhängige Tests von dem Nonprofit-Forschungslabor Transluce bestätigen die Ergebnisse von OpenAI – und zeigen sogar noch weitere problematische Aspekte auf. So behauptet das Modell o3 zum Beispiel häufig, Aktionen durchgeführt zu haben, die technisch überhaupt nicht sind. In einem Test gab o3 an, Code eigenständig auf einem Macbook Pro aus dem Jahr 2021 ausgeführt zu haben – was aber unmöglich ist. Neil Chowdhury ist Forscher bei Transluce und ehemaliger Mitarbeiter von OpenAI. Er vermutet, dass bestimmte Trainingsmethoden der o-Modellreihe Probleme verstärken, die sonst durch nachgelagerte Trainingsschritte reduziert würden.

Das Erfinden von Fakten ist besonders im geschäftlichen oder wissenschaftlichen Umfeld ein großes Problem. o3 halluziniert beispielsweise regelmäßig nicht existierende oder fehlerhafte Weblinks. Die hohe Halluzinationsrate könnte die praktische Nutzung der neuen Reasoning-Modelle somit deutlich einschränken. Ein vielversprechender Ansatz, um die Genauigkeit von KI-Modellen zu Verbesserung, ist der Zugang zur Websuche. Das Modell GPT-4o von OpenAI konnte dadurch im „SimpleQA“-Test immerhin eine Trefferquote von 90 Prozent erzielen.