Anzeige
Anzeige
News
Artikel merken

Diskriminierung: Deshalb platzte Amazons Traum vom KI-gestützten Recruiting

Wie KI unbeabsichtigt zu Diskriminierung führt, zeigt ein Beispiel von Amazon. Der Onlinehändler wollte Bewerbungen automatisch vorsortieren – allerdings mochte die Software keine Frauen.

2 Min. Lesezeit
Anzeige
Anzeige

Wenn eine KI Bewerberinnen diskriminiert. (Foto: Shutterstock)

Künstliche Intelligenz, so die Meinung vieler Techno-Utopisten, kann eine gerechtere Welt schaffen, weil ihre Entscheidungsprozesse frei von Emotionen und damit auch von Vorurteilen sind. Das klingt zwar gut, sieht in der Praxis allerdings häufig anders aus. Ein gutes Beispiel dafür ist Amazon. Nach einem Reuters-Bericht versucht das Unternehmen schon seit 2014, eine KI zu entwickeln, die den Einstellungsprozess optimieren sollte. „Sie wollten eine Maschine, der du 100 Bewerbungen gibst und die dann die besten fünf Kandidaten ausspuckt“, zitiert Reuters einen anonymen Amazon-Mitarbeiter. Ein Jahr später haben die Verantwortlichen dann aber einen folgenschweren Fehler bemerkt: Die KI benachteiligte Frauen.

Anzeige
Anzeige

Das Problem lag hier wie so häufig bei den Trainingsdaten, anhand derer die KI lernen sollte, welche Bewerber Amazon gerne einstellen würde. Die KI-Modelle wurden anhand von Bewerbungen trainiert, die innerhalb der letzten zehn Jahre bei Amazon eingegangen waren. Die meisten davon kamen allerdings von Männern. Ein offensichtliches Muster, aus dem das System folgerte, dass Männer die bevorzugten Kandidaten waren. Laut  Reuters-Bericht bewertete das Amazon-System Bewerbungen daher schlechter, in denen Begriffe wie „Frauen-Schachclub“ vorkamen. Außerdem sollen auch Frauen schlechtere Bewertungen erhalten haben, die Frauenhochschulen besucht hatten.

Die Amazon-Entwickler versuchten, entgegenzuwirken und die entsprechenden Begriffe als neutral zu definieren. Geholfen habe das laut Reuters aber nur bedingt. Anfang 2017 löste Amazon das Team dann letztlich auf, nachdem die Unternehmensführung alle Hoffnung für das Projekt verloren hatte. Immerhin sollen sich die Schäden in Grenzen gehalten haben, da Personalentscheidungen laut Insidern nie allein aufgrund des Systems getroffen worden seien. Ein Amazon-Sprecher erklärte gegenüber t3n: „Es wurde von der Amazon Personalabteilung nie genutzt, um Kandidaten zu bewerten.“

Anzeige
Anzeige

Diskriminierende KI ist kein Einzelfall

Gesichtserkennungslösungen, die als Vorreiter im Bereich marktreifer KI-Systeme gelten dürften, haben in der Vergangenheit häufiger Probleme damit gehabt, Menschen mit dunkler Hautfarbe zu erkennen. Auch hier lag das Problem an den Daten, anhand derer die Systeme lernen sollten, wie sie Menschen erkennen. Da die Systeme ausschließlich oder zumindest überwiegend mit Bildern von Weißen gefüttert wurden, erkannten sie auch nur die.

Anzeige
Anzeige

Um derlei Probleme zu vermeiden, argumentiert beispielsweise Brad Smith, Microsofts Chef-Justiziar und Co-Autor eines Buches über die KI-gestützte Zukunft, dass Diversität innerhalb von Entwicklerteams eine wichtigere Rolle spielen müsse. Nur funktioniert das aber natürlich nicht, wenn schon beim Einstellungsprozess diskriminierende Computersysteme zum Einsatz kommen.

Das Blackbox-Problem

Einige Experten wie die KI-Forscherin Kate Crawford sehen beim Einsatz von KI-Systemen, die über die Zukunft von Menschen entscheiden sollen, noch ein ganz anderes Problem: Bei gängigen Systemen können wir festlegen, anhand welcher Daten ein Algorithmus trainiert wird und anschließend überprüfen, ob das Ergebnis zu unserer Zufriedenheit ist. Unklar bleibt dabei allerdings, wie das System letztlich zu dem Ergebnis gekommen ist.

Anzeige
Anzeige

Crawford und andere fordern daher, dass in Gesundheitswesen, Bildung, Justiz und anderen Bereichen, die Auswirkungen auf die Bevölkerung haben, keine Systeme eingesetzt werden dürfen, bei denen das sogenannte Blackbox-Problem auftritt. Denn, wann immer ein Menschenleben von der Entscheidung einer Maschine beeinflusst wird, sollte die Öffentlichkeit im Zweifel auch Einblick in den genauen Entscheidungsprozess erhalten können.

Ebenfalls interessant: Warum wir künstliche Intelligenz in die Hände der Gesellschaft geben sollten

Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Anzeige
Anzeige
Schreib den ersten Kommentar!
Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!
Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Deine t3n-Crew

Anleitung zur Deaktivierung
Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder
Auf Mastodon teilen

Gib die URL deiner Mastodon-Instanz ein, um den Artikel zu teilen.

Anzeige
Anzeige