OpenAI hat unter dem Titel „SimpleQA“ einen Benchmark-Test entwickelt, um die Antwortgenauigkeit eigener und konkurrierender KI-Modelle zu überprüfen. Dabei geht es um Fragen, für die es nur eine korrekte Antwort gibt. In einem Paper hat das Unternehmen die Ergebnisse vorgestellt. Dabei schnitten nicht nur OpenAIs eigene Modelle nicht gut ab.

o1-Preview, das Modell von OpenAI, das erst im Oktober 2024 veröffentlicht wurde, konnte im Test eine Trefferquote von 42,7 Prozent erzielen. Claude-3,5-Sonnet, das aktuelle Konkurrenzmodell von Anthropic beantwortete sogar nur 28,9 Prozent aller Fragen wahrheitsgemäß. Das bedeutet, dass die Antworten, die beide Modelle geben, mit höherer Wahrscheinlichkeit falsch als richtig sind.

Was OpenAI ebenfalls festgestellt hat: Während das Modell von Anthropic viel eher dazu neigt, seine eigene Unsicherheit zu benennen und deshalb die Antwort zu verweigern, tendieren die KI-Modelle von OpenAI dazu, ihre Fähigkeiten stark zu überschätzen – eine Eigenschaft, die dazu führen kann, dass sie sich der Unwahrheiten, die sie erfinden, sehr sicher sind.

Large Language Models (LLM) neigen zu sogenannten „Halluzinationen“. Das bedeutet, dass sie Wissenslücken aktiv füllen und Antworten einfach erfinden. Die Ergebnisse des „SimpleQA“-Benchmark-Tests zeigen, dass diese „erfundenen Wahrheiten“ aber keine Ausnahme, sondern viel eher die Regel sind.

Genau hier setzt SimpleQA an. Für den Test hat das Unternehmen mit KI-Trainern zusammengearbeitet. Diese haben über 4.000 Fragen erstellt, die ein breites Themenspektrum von Wissenschaft bis Unterhaltung abdecken. Ein weiteres wichtiges Kriterium: Die Antworten auf die Fragen dürfen sich im Laufe der Zeit nicht verändern. Außerdem sei der Test extra dafür gedacht, große Modelle herauszufordern.

Weil OpenAI SimpleQA als Open-Source-Lösung zur Verfügng stellt, haben auch andere KI-Unternehmen wie Anthropic jetzt die Möglichkeit, die Genauigkeit ihrer Modelle zu überprüfen und zu verbessern.