Schon heute kommt künstlicher Intelligenz (KI) in der Medizin, insbesondere bei der Krebsdiagnostik oder der Medikamentenentwicklung, eine wichtige Rolle zu. Aber können Sprachmodelle wie ChatGPT auch im Krankenhausalltag unterstützend eingreifen – oder Mediziner:innen bei der Diagnostik gar eines Tages ersetzen?

Mit Fragen wie diesen hat sich ein Forschungsteam des US-amerikanischen Gesundheitssystems Mass General Brigham (MGB) auseinandergesetzt. In ihrer im Journal of Medical Internet Research einsehbaren Preprint-Studie setzten sie ChatGPT während des gesamten klinischen Arbeitsablaufs ein.

Der reicht vom Beginn der Arbeit mit Patient:innen bis zum gesamten Pflegeszenario, einschließlich des Pflegemanagements nach der Diagnose. Und die Entscheidungen von ChatGPT waren durchaus erstaunlich, wie Co-Autor Marc Succi dem Newsportal Axios sagte.

Dem Chef des MGB-Innovationsinkubators zufolge waren die finale Diagnosen des KI-Chatbots in 77 Prozent der Fälle richtig. Wenn es allerdings um die Differenzialdiagnose ging, also die Gesamtheit aller Diagnosen, die bei Symptomen oder medizinischen Befunde in Betracht zu ziehen sind, sackte die Erfolgsquote auf 60 Prozent ab.

Insgesamt attestierten die Forscher:innen ChatGPT, bei 72 Prozent der getroffenen klinischen Entscheidungen richtig gelegen zu haben. Heißt aber auch: in 28 Prozent der Fälle, also fast jedem dritten, lag die KI daneben.

Nicht in Relation gesetzt wurde der Erfolg von ChatGPT im Rahmen der Studie mit dem von durchschnittlichen Ärzt:innen. Allerdings existieren derzeit offenbar auch keine echten Benchmarks für Erfolgsraten im Medizinbereich – etwa auch, wenn es um verschiedene Grade von Erfahrung und Ausbildung geht.

Studien-Co-Autor Succi erklärte jedenfalls, dass die Erfolgsrate bei der Diagnostik noch auf 80 bis 90 Prozent steigen müsste, um ChatGPT oder ähnliche KI-Sprachmodelle in Krankenhäusern oder Praxen einzusetzen. Und es müsse die Lücke zwischen einer nützlichen KI-Unterstützung in der Theorie zu einem tatsächlichen Einsatz in der klinischen Praxis geschlossen werden.

Am sinnvollsten erscheint dem Forscher der Einsatz von ChatGPT und Co derzeit in den frühen Phasen der Versorgung von Patient:innen. Dann, wenn nur wenige Informationen verfügbar sind und eine Liste verfügbarer Diagnosen benötigt wird.

Bis es so weit komme, seien aber weitere wissenschaftliche Untersuchungen und regulatorische Vorgaben seitens der Politik notwendig. Bisher gibt es nur wenige entsprechende Studien. Kritiker:innen sind zudem der Meinung, dass sich KI-Studien im klinischen Bereich zu wenig an den tatsächlichen Anforderungen des Klinikalltags orientierten.