News

Artikel merken

Diskriminierung durch Algorithmen – Studie weist Fälle nach und empfiehlt Gegenmaßnahmen

Für eine Studie des Bundestags haben Wissenschaftler sich Fehlannahmen künstlicher Intelligenz genauer angeschaut. Einige dieser Fehler wurden als Diskriminierung identifiziert. Die Technikfolgen-Stelle schlägt Lösungen vor.

3 Min. Lesezeit

Unter anderem kritisiert das Technikfolgen-Büro die Diskriminierung durch  Gesichtserkennungssysteme. (Bild: metamorworks/Shutterstock)


„Gesellschaftliche Ungleichbehandlungen können sich in komplexe algorithmische Entscheidungssysteme (AES) einschreiben und dadurch potenziell eine Vielzahl von Personen betreffen“, schreiben die Verfasser der Studie „Mögliche Diskriminierung durch AES und maschinelles Lernen“. Nach allgemeinen Erklärungen beweist das Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB) an vier frappierenden Fallbeispielen seine These. Das TAB besteht unter Federführung des Karlsruher Instituts für Technologie aus Fachleuten verschiedener Institute dieses Bereichs.

Nachdem die Autoren algorithmische Systeme in selbstlernend oder regelbasiert unterteilt haben, bringen sie als übergeordnete Instanz AES ins Spiel. Sie vollziehen sowohl die Datenerfassung und Analyse, deuten die Ergebnisse und leiten daraus Entscheidungsempfehlungen ab. Sie seien nicht nur als Vorbereitung und Unterstützung, sondern auch als Ersatz menschlicher Entscheidungsprozesse im Einsatz. Die Studie nennt Beispiele für solche Systeme sowie Probleme.

Vom Algorithmus diskriminiert

Als erstes Beispiel dient ein AES im medizinischen Bereich. Das System berechnete eine niedrigere Sterberate für Patienten mit Mehrfacherkrankungen und chronische Krankheiten als von solchen, die nur unter einer Lungenentzündung litten. Im Ergebnis ordnete es den schwer Erkrankten einen geringeren Betreuungsbedarf zu. Der Fehler lag in den Daten, mit denen das System trainiert worden war: In denen hatten chronisch und mehrfach erkrankte bereits eine intensive Behandlung erhalten und wiesen daher eine niedrigere Sterblichkeit auf.

Aus dem österreichischen Arbeitsamt stammt der zweite Fall. Das System ordnet die Klienten in drei Kategorien von arbeitsmarktnah bis -fern ein. Dabei werden Frauen mit Betreuungspflichten als arbeitsmarktfern klassifiziert. Der Hintergrund: Alleine das Geschlecht führt zu einem Abzug der Arbeitsmarktnähe, die Betreuungspflicht zu einem weiteren. Ob hier Diskriminierung vorliege, müsse eine Gesamtbetrachtung der Prozesse ergeben, sagen die Verfasser.

Beispiel drei betrifft die Rückfallwahrscheinlichkeit von Straftätern in den USA. Das dafür eingesetzte System Compas lag bei der Vorhersage der Quote bei afroamerikanischen Straftätern falsch. 45 Prozent der Gruppe blieben gesetzestreu, während das nur auf 24 Prozent der weißen Kandidaten zutraf.

Fast fertig!

Bitte klicke auf den Link in der Bestätigungsmail, um deine Anmeldung abzuschließen.

Du willst noch weitere Infos zum Newsletter? Jetzt mehr erfahren

Einem strukturellen Fehler unterliegen viele AES in den USA, die Beispiel vier bilden. Ihre Gesichtserkennungssysteme identifizieren am häufigsten weibliche und dunkelhäutige Gesichter falsch. Sie kommen im Strafvollzug, bei der Strafverfolgung, der inneren Sicherheit und Prävention zum Einsatz. Sowohl falsch-negative als auch falsch-positive Ergebnisse können für den Einzelnen „unangenehme Folgen“ haben, steht in dem rund 80 Seiten starken Dokument. IBM hatte aus diesem Grund sein Gesichtserkennungsprogramm beendet.

Breite Handlungsoptionen vorgeschlagen

Die Studie hebt hervor: Die Diskriminierung beim österreichischen Arbeitsamt wäre nicht aufgefallen, wäre das System nicht transparent gewesen. Die Wissenschaftler plädieren daher für mehr Transparenz und Kontrolle, etwa durch eine unabhängige Stelle. Zudem könne eine Kennzeichnungspflicht helfen, Betroffenen den Einsatz von AES zu signalisieren. Sie solle jedoch nicht wie bei gebräuchlichen Datenschutzerklärungen zu Durchwink-Formularen ohne Wissenszuwachs führen. Die Studie schlägt vor, Datensätze und -modelle zu dokumentieren und zu protokollieren. Weitere Ideen bestehen im Etablieren eines Kompetenzzentrums, eines Zulassungssystems und Prüfungen durch Antikriminierungsstellen. Im Bereich der Regulierung solle man das Haftungsrecht anpassen, Gruppendiskriminierung aufnehmen und einen kollektiven Rechtsschutz etwa über Verbandsklagen installieren. Daneben könnte regulierte Selbstkontrolle zum Beispiel über Zertifikate helfen. Ähnlich hatte sich zuletzt die Datenethik-Kommission geäußert und hatte sich allerlei Kritik aus den Digital-Verbänden ausgesetzt.

TAB Algorithmen Diskriminierung

Das Technikfolgen-Büro des Bundestages schlägt eine Vielzahl von Maßnahmen zur Eindämmung von Diskriminierung durch KI-Systeme vor. (Screenshot: TAB/t3n)

Die Gesellschaft soll entscheiden

Am Ende konstatieren das TAB eine Entwicklung hin zu einer algorithmisierten Gesellschaft. Sie bedinge eine Reflexion darüber, welche Werte über AES walten, welche Folgen sie haben und wie sie reguliert werden sollen. Gesellschaftliche Weichenstellungen seien schon im Entwicklungsstadium nötig. Das Papier fordert, sie der Meinungsbildung, demokratischen Prozessen und gesetzgebenden Ebenen zu übergeben.

Das könnte dich auch interessieren

Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Schreib den ersten Kommentar!

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!

Hallo und herzlich willkommen bei t3n!

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team von mehr als 75 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Schon jetzt und im Namen der gesamten t3n-Crew: vielen Dank für deine Unterstützung! 🙌

Digitales High Five
Holger Schellkopf (Chefredakteur t3n)

Anleitung zur Deaktivierung

Artikel merken

Bitte melde dich an, um diesen Artikel in deiner persönlichen Merkliste auf t3n zu speichern.

Jetzt registrieren und merken

Du hast schon einen t3n-Account? Hier anmelden

oder