Bei diesem neuen Mathe-Benchmark versagen selbst die besten KI-Systeme
Noch tun sich KI-Modelle wie GPT schwer mit Mathematik und logischem Denken. In einigen bestehenden Mathematik-Tests wie GSM8K oder Math erreichen sie aber dennoch zum Teil Erfolgsquoten von über 90 Prozent.
An Frontiermath scheitern die besten KIs
Jetzt haben über 60 Spitzen-Mathematiker:innen einen Benchmark namens Frontiermath entwickelt, bei dem selbst die fortschrittlichsten KI-Systeme versagen. Auch GPT-4o, Claude 3.5 und Gemini 1.5 Pro haben in diesem Test mit komplexen mathematischen Aufgaben weniger als zwei Prozent der Probleme lösen können.
Laut den Forscher:innen von Epoch AI, die hinter Frontiermath stehen, haben die Mathematiker:innen für den neuen Benchmark in teils tagelanger Arbeit Hunderte „originelle, außergewöhnlich anspruchsvolle mathematische Probleme“ erstellt. Jede Aufgabe sei per Peer-Review von Expert:innen auf Korrektheit und Schwierigkeitsgrad geprüft worden.
Problem bei der Bewertung von KI-Systemen
Die starke Abweichung bei der Problemlösung zwischen Frontiermath und anderen Mathe-Benchmarks weist auf ein grundsätzliches Problem bei der Bewertung von KI-Systemen hin, wie the-decoder.de schreibt. Demnach erfassen KI-Tests immer nur einen spezifischen Ausschnitt von Fähigkeiten.
Und genau auf diese Fähigkeiten hin könnten die Forscher:innen ihre KI-Modelle dann optimieren – um gute Benchmark-Ergebnisse zu erzielen und die Forschungsmillionen zu rechtfertigen. Andrej Karpathy, früher Entwickler bei OpenAI, kommentierte die Epoch-AI-Ergebnisse mit einem Verweis auf das Moravec-Paradox.
Schachspielen versus gesunder Menschenverstand
Demnach würden KI-Systeme zwar beeindruckende analytische Leistungen erbringen und komplexe geschlossene Probleme lösen können, etwa unglaublich gut Schach spielen. Bei scheinbar einfachen Aufgaben, die gesunden Menschenverstand oder intuitive Problemlösungsansätze erforderten, hätten sie dagegen Schwierigkeiten.
Während Karpathy neue Arten von Tests fordert, um auch diese scheinbar einfachen Fähigkeiten zu bewerten, sehen die Epoch-AI-Forscher:innen in der Mathematik eine geeignete Möglichkeit und eine „strenge Prüfumgebung“, um komplexe Denkprozesse zu evaluieren.
Fortschritte bei mathematischem Denken dokumentieren
Die Forscher:innen wollen den Frontiermath-Benchmark jetzt weiterentwickeln und regelmäßig weitere Tests und Auswertungen vornehmen. Damit sollen die Fortschritte der KI-Systeme in puncto mathematisches Denken dokumentiert werden, wie es heißt.
Die Epoch-AI-Studie „FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI“ ist auf dem Preprint-Server Arxiv veröffentlicht worden. Auf dieser Website findet sich zudem eine Auswahl der mathematischen Probleme, denen die KI-Systeme ausgesetzt wurden.
