Damit hatte das internationale Forschungsteam aus Australien, Kanada und den USA nicht gerechnet: Nachdem sie einer künstlichen Intelligenz die Röntgenaufnahmen diverser Patienten zugeführt hatten, war die in der Lage, die Ethnie der Aufgenommenen zu bestimmen, obwohl keine weiteren Daten, aus denen das hätte geschlossen werden können, mitgeliefert worden waren.

Die gefundenen Ergebnisse will das Team nun als Warnung an die Wissenschaft verstanden wissen. Es müsse immer mitgedacht werden, dass selbst-lernende Algorithmen in der Medizin dazu eingesetzt werden könnten, Menschen unterschiedlicher Hautfarbe unterschiedlich zu behandeln. Das könne selbst dann passieren, wenn die Algorithmen von ihren Erschaffern gar nicht dazu ausgelegt seien.

Als geradezu erschreckend darf wohl bezeichnet werden, dass das Forschungsteam selbst nicht erkennen konnte, wieso die KI in der Lage war, die Ethnie zu bestimmen. Schon vom Studiendesign her hatten sie dafür gesorgt, dass indirekte visuelle Merkmale nicht dazu genutzt werden konnten, etwa auf Daten, zu denen ethnische Bezüge bestehen, wie den BMI oder die Knochendichte sowie weitere Diagnosen zu schließen. Die Einzelheiten beschreibt das Team in einem auf dem Preprint-Server Arxiv veröffentlichten Papier (PDF).

Nun könnte man einwenden, dass eine unbeabsichtigte Klassifizierung nach Hautfarbe zunächst kein Problem darstellt. Tatsächlich kann es jedoch durch die unbeabsichtigte Klassifizierung zu einer ebenso unbeabsichtigten Benachteiligung kommen. In einem im Jahr 2019 bekannt gewordenen Fall eines großen Krankenhauses in den Vereinigten Staaten von Amerika hatte eine KI, die eingesetzt wurde, um Risikopatienten speziellen Vorsorgeprogrammen zuzuführen, eindeutig weiße Patienten bevorzugt und in deutlich größerem Umfang den Sonderprogrammen zugeführt als schwarze Patienten von gleicher Gesundheit.

Wie Wired berichtet, war die Bevorzugung weißer Patienten keine absichtliche rassistische Diskriminierung, sondern Ausfluss des Parametersatzes, den die KI zugrunde gelegt hatte. Dabei scheint auch der Versicherungsstatus und damit der Aspekt der Kostendeckung eine Rolle gespielt zu haben. Und da weiße Patienten in den USA tendenziell besser krankenversichert sind, kann es zu der Benachteiligung gekommen sein.

Für KI-Ethiker ist das Problem nicht neu, sondern lediglich eines von vielen. So gibt es bereits Lösungsansätze. Der vielversprechendste besteht wohl darin, die Datenbasis, anhand der das Training der KI stattfindet, sozusagen zu neutralisieren. Dazu würde zunächst ein Training erfolgen, um die daraus resultierenden Ergebnisse prüfen zu können. Wird dabei festgestellt, dass die Ausführung ethisch fragwürdige Ergebnisse hervorbringt, würde die Datenbasis an der erforderlichen Stelle angepasst. Dass diese Anpassungen wieder ihre eigenen ethischen Fragestellungen aufwerfen, darf nicht unbeachtet bleiben.