Künstliche Intelligenz, so die Meinung vieler Techno-Utopisten, kann eine gerechtere Welt schaffen, weil ihre Entscheidungsprozesse frei von Emotionen und damit auch von Vorurteilen sind. Das klingt zwar gut, sieht in der Praxis allerdings häufig anders aus. Ein gutes Beispiel dafür ist Amazon. Nach einem Reuters-Bericht versucht das Unternehmen schon seit 2014, eine KI zu entwickeln, die den Einstellungsprozess optimieren sollte. „Sie wollten eine Maschine, der du 100 Bewerbungen gibst und die dann die besten fünf Kandidaten ausspuckt“, zitiert Reuters einen anonymen Amazon-Mitarbeiter. Ein Jahr später haben die Verantwortlichen dann aber einen folgenschweren Fehler bemerkt: Die KI benachteiligte Frauen.

Das Problem lag hier wie so häufig bei den Trainingsdaten, anhand derer die KI lernen sollte, welche Bewerber Amazon gerne einstellen würde. Die KI-Modelle wurden anhand von Bewerbungen trainiert, die innerhalb der letzten zehn Jahre bei Amazon eingegangen waren. Die meisten davon kamen allerdings von Männern. Ein offensichtliches Muster, aus dem das System folgerte, dass Männer die bevorzugten Kandidaten waren. Laut  Reuters-Bericht bewertete das Amazon-System Bewerbungen daher schlechter, in denen Begriffe wie „Frauen-Schachclub“ vorkamen. Außerdem sollen auch Frauen schlechtere Bewertungen erhalten haben, die Frauenhochschulen besucht hatten.

Die Amazon-Entwickler versuchten, entgegenzuwirken und die entsprechenden Begriffe als neutral zu definieren. Geholfen habe das laut Reuters aber nur bedingt. Anfang 2017 löste Amazon das Team dann letztlich auf, nachdem die Unternehmensführung alle Hoffnung für das Projekt verloren hatte. Immerhin sollen sich die Schäden in Grenzen gehalten haben, da Personalentscheidungen laut Insidern nie allein aufgrund des Systems getroffen worden seien. Ein Amazon-Sprecher erklärte gegenüber t3n: „Es wurde von der Amazon Personalabteilung nie genutzt, um Kandidaten zu bewerten.“

Gesichtserkennungslösungen, die als Vorreiter im Bereich marktreifer KI-Systeme gelten dürften, haben in der Vergangenheit häufiger Probleme damit gehabt, Menschen mit dunkler Hautfarbe zu erkennen. Auch hier lag das Problem an den Daten, anhand derer die Systeme lernen sollten, wie sie Menschen erkennen. Da die Systeme ausschließlich oder zumindest überwiegend mit Bildern von Weißen gefüttert wurden, erkannten sie auch nur die.

Um derlei Probleme zu vermeiden, argumentiert beispielsweise Brad Smith, Microsofts Chef-Justiziar und Co-Autor eines Buches über die KI-gestützte Zukunft, dass Diversität innerhalb von Entwicklerteams eine wichtigere Rolle spielen müsse. Nur funktioniert das aber natürlich nicht, wenn schon beim Einstellungsprozess diskriminierende Computersysteme zum Einsatz kommen.

Einige Experten wie die KI-Forscherin Kate Crawford sehen beim Einsatz von KI-Systemen, die über die Zukunft von Menschen entscheiden sollen, noch ein ganz anderes Problem: Bei gängigen Systemen können wir festlegen, anhand welcher Daten ein Algorithmus trainiert wird und anschließend überprüfen, ob das Ergebnis zu unserer Zufriedenheit ist. Unklar bleibt dabei allerdings, wie das System letztlich zu dem Ergebnis gekommen ist.

Crawford und andere fordern daher, dass in Gesundheitswesen, Bildung, Justiz und anderen Bereichen, die Auswirkungen auf die Bevölkerung haben, keine Systeme eingesetzt werden dürfen, bei denen das sogenannte Blackbox-Problem auftritt. Denn, wann immer ein Menschenleben von der Entscheidung einer Maschine beeinflusst wird, sollte die Öffentlichkeit im Zweifel auch Einblick in den genauen Entscheidungsprozess erhalten können.

Ebenfalls interessant: Warum wir künstliche Intelligenz in die Hände der Gesellschaft geben sollten