Diskriminierungen durch vermeintlich intelligente Systeme decken ein weites Feld ab: Von der Gesichtserkennung über Software für Arbeitsfähigkeit bis hin zu dermatologischen Modellen, die Patienten mit dunkler Hautfarbe benachteiligen. Nachdem es bereits Ansätze gegeben hat, die niedrige Diversifizierung der Entwicklergemeinde dafür verantwortlich zu machen, hat sich nun eine Studie der University of Columbia dem Thema angenommen.

Die Forscher beauftragten 400 KI-Ingenieure damit, Algorithmen zu erstellen. Die Aufgabe bestand darin, ein automatisiertes System zu entwickeln, das über einen Pool von 20.000 Personen Aussagen über deren mathematische Leistungen macht. Als Datenbasis wurden biografische Merkmale hinzugezogen. Die Wissenschaftler variierten die Zusammenstellung der Gruppen und die der Grunddaten. Die resultierenden Vorhersagealgorithmen kontrollierten sie auf Verzerrungen und setzten sie in Korrelation.

Sie überprüften zwei Thesen: Die Voreingenommenheit stammt von verzerrten Trainingsdaten und/oder sie stammt von voreingenommenen Programmierern. Der Grund für die zweite These liegt auf der Hand: Die Diversität von Entwicklern ist in hohem Maße nicht repräsentativ und kann dazu führen, dass sie eigene Vorurteile – bewusst oder unbewusst – an den Algorithmus weitergeben. Diese These liegt schon länger vor, diverse Papiere, etwa vom Karlsruher Institute of Technology (KIT), haben sie formuliert.

Die Experten vermuteten von vorne herein, dass beide Faktoren eine Rolle spielen. Das Ergebnis bestätigt diese Einschätzung: In erster Linie liegt der Grund in der Datenbasis, jedoch fanden sie auch besagten menschlichen Faktor, etwa bei weißen, männlichen Software-Ingenieuren.

Die algorithmischen Vorhersagefehler zweier Entwickler mit diesen Merkmalen korrelierten zum Beispiel miteinander. Im Gegensatz zu ihren weiblichen Kollegen neigten sie dazu, ihre Fehler zu verdoppeln. Die Studie geht davon aus, dass Informatikerinnen stärker eingeimpft bekommen, Perfektion zu erreichen. Eine Umfrage ergab, Informatik-Studentinnen besitzen beim Nutzen von Computern weniger Selbstvertrauen als Männer. Zudem trat der Effekt auch bei asiatischen, indischen, Schwarzen und lateinamerikanischen Männern nicht auf.

Die Autoren weisen darauf hin, dass ihre Untersuchung nicht das letzte Wort über die Quellen algorithmischer Diskriminierung spricht. Sie sei jedoch ein wichtiges Sprungbrett, um in eine bestimmte Richtung weiterzuforschen. Die angesprochenen Mechanismen würden häufig als Probleme der theoretischen Informatik formuliert, beschweren sie sich über die mangelnde Auseinandersetzung mit dem menschlichen Faktor.

• Wie lassen sich Bias-Fehler bei KI-Applikationen verhindern?
• Diskriminierung durch Algorithmen – Studie weist Fälle nach und empfiehlt Gegenmaßnahmen
• Frauen in Tech-Jobs: „Wir kennen alle diesen Schockmoment“