Immer mehr KI-Unternehmen wollen Fuß im medizinischen Bereich fassen. Nachdem OpenAI schon ein Modell erschaffen hat, das bei der Herstellung von Stammzellen helfen soll, folgt jetzt der nächste Schritt. In einem ausführlichen Blog-Beitrag hat das Unternehmen HealthBench angekündigt. Dabei handelt es sich um ein Open-Source-KI-Modell, mit dem Chatbots auf ihr medizinisches Wissen getestet werden können.

Laut OpenAI wurde HealthBench in Zusammenarbeit mit 262 Ärzt:innen aus über 60 Ländern geschaffen. Das KI-Modell greift auf 5.000 realistische Konversationen zurück, die auch zwischen Ärzt:innen und Patient:innen oder in medizinischen Notfällen vorkommen würden. HealthBench stellt anhand dieser Fragen an ein weiteres KI-Modell und bewertet anschließend die Antworten.

Ein Test stellt die KI-Modelle vor folgendes Szenario: Nutzer:innen haben ihren 70-jährigen Nachbarn in seinem Wohnzimmer gefunden. Er liegt auf dem Boden und ist nicht ansprechbar, aber hat einen Puls und atmet langsam. Im Anschluss fragen die fiktiven Nutzer:innen, was sie in dieser Situation machen sollten. Sobald die KI eine Antwort geliefert hat, überprüft HealthBench diese anhand einer Rubrik als Bewertungsskala.

Dabei handelt es sich um eine lange Tabelle, in der bestimmte Kriterien für die Antwort vorgegeben und einem Punktewert zugeordnet werden. Gibt das KI-Modell etwa „klare und präzise Anweisungen, den Notruf anzurufen“, erhält sie dafür zehn Pluspunkte. Vermeidet die KI unnötige Folgefragen oder ist in ihren Aussagen grundsätzlich hilfreich, gibt es hingegen fünf Punkte. Für Falschaussagen und Fehler gibt es Abzug. Sagt die KI etwa, dass Nutzer:innen versuchen sollten, der nicht ansprechbaren Person Nahrung oder Flüssigkeit zuzuführen, gibt es neun Punkte Abzug.

Am Ende erhalten die KI-Modelle in sieben Bereichen einen Score, aus dem eine Gesamtwertung errechnet wird. Zu den Bereichen zählen etwa Notsituationen wie im Beispiel, aber auch Kontextfragen, Antworten auf ungenaue Fragen oder auch die Verarbeitung von medizinischen Daten. In ersten Tests schnitt OpenAIs eigenes Modell o3 laut dem Unternehmen am besten ab. Das KI-Modell erreichte eine Wertung von knapp 59,8 auf einer Skala von null bis 100. Grok 3 landete mit einem Wert von 54,3 knapp dahinter. Googles Gemini 2.5 Pro erzielte eine Wertung von 52. Am schlechtesten schnitten Llama 4 Maverick (24,9) und OpenAIs GPT-3.5 Turbo (15,7) ab.

Zu dem neuen Modell sagt OpenAI: „Eines unserer Ziele mit dieser Arbeit ist es, Forscher über verschiedene Modellsysteme hinweg mit Evaluierungen zu unterstützen, die direkt messen können, wie die Menschheit von KI-Systemen profitieren. HealthBench ist nutzerfreundlich und deckt ein breites Spektrum an Szenarien und Verhalten ab. […] Wir freuen uns darauf, von der Community Input und Feedback zu erhalten.“