Kameras verfolgen und identifizieren Menschen auf öffentlichen Straßen und Plätzen. Eine Sicherheitsschranke lässt ­Schwarze nicht durch, weil das KI-System ihre Gesichter schlechter erkennt. Eine intelligente Software scannt Bewerbungen und sortiert Frauen im gebärfähigen Alter aus. Ein Staat vergibt Punkte für (un)erwünschtes Verhalten.

Solche Szenen sollen in der Europäischen Union nie ­Realität werden. Dafür soll der neue AI Act sorgen, eine Verordnung über ­künstliche Intelligenz in der EU. Die EU-Kommission hat dafür im April 2021 einen Vorschlag gemacht: Das Gesetz teilt KI-­Anwendungen in ­Risikoklassen ein. Das soll Fortschritt ­ermöglichen, aber mit der nötigen Vorsicht. Ein gewagter Spagat.

Wer ein KI-System in der EU in Betrieb bringen will, muss demnach vorher das Risiko abschätzen, das System in eine Daten­bank eintragen und je nach Risikoklasse Auflagen in Bezug auf Transparenz und Sicherheit einhalten. Je nach Art des Systems ist auch eine Konformitäts­bewertung durch Dritte ­erforderlich. Die Verantwortung dafür liegt bei den Unternehmen, die die KI-Systeme produzieren. Händler:innen und Anwender:innen müssen nur nachweisen, dass die Konformitätsbewertung vom Herstellenden durchgeführt wurde.

Bevor das Gesetz verabschiedet wird, können die Abgeordneten im Europäischen Parlament und die Fachminister:innen der EU-Mitglieder im Ministerrat Änderungen einbringen. Der Ministerrat hat bereits schärfere Verbote vorgeschlagen. Im Parlament ist die ­Debatte Anfang des Jahres gestartet.

Aus Wirtschaft, Wissenschaft und Zivilgesellschaft gibt es Ideen, Lob und Kritik. Einige mahnen mehr Vorsicht an. Andere sehen den Fortschritt gefährdet. Der Europäische Datenschutzbeauftragte fordert ein Verbot biometrischer Überwachung, NGO fordern einen stärkeren Fokus auf Menschenrechte, Telekommunikationsminister:innen wollen militärische Software von der Verordnung ausnehmen.

In einem sind sich die Expert:innen einig: Der Vorschlag ist ein großer Wurf. Der AI Act könnte eine Strahlkraft entfalten, ähnlich wie die DSGVO, und international die Gesetzgebung beeinflussen. An den Details scheiden sich die Geister. Drei Themen werden ­besonders heiß diskutiert: die Einordnung von KI-­Systemen in Risikoklassen, das Verbot von biometrischer Überwachung und, vielleicht der eigentliche Kern der Diskussion, die Definition von KI.

Dass KI reguliert werden sollte, ist keine neue Idee. Der ­Europarat, eine Organisation, deren 47 Mitglieder sich dem Schutz der Menschenrechte verpflichtet haben, beschäftigt sich seit 2019 damit, wie ein menschenrechtsbasierter Rechts­rahmen für KI aussehen könnte. Zeitgleich ließ die EU ihre Ambitionen zur KI-Regulierung anklingen. „Künstliche Intelligenz entwickelt sich schnell. Sie wird unser Leben verändern“, schrieb die ­Europäische Kommission im Februar 2020 in einem Whitepaper über KI. Eine Regulierung müsse zwei Ziele vereinen: die Ver­breitung von KI fördern und mit den Risiken umgehen.

Der AI Act könnte eine Strahlkraft entfalten, ähnlich wie die DSGVO, und ­international die Gesetz­gebung ­be­einflussen.

Gut ein Jahr nach dem Whitepaper legte die Kommission den ­konkreten Vorschlag auf den Tisch. Er liest sich wie ein Regelwerk zur Produktsicherheit und verfolgt einen risikobasierten Ansatz. Je nachdem, wie potenziell gefährlich eine Anwendung ist, sollen bestimmte Auflagen gelten. Dafür werden KI-Systeme in vier Klassen eingeteilt: Systeme mit inakzeptablem Risiko dürfen nicht benutzt werden. Das sind zum Beispiel Social-Scoring-Systeme, also Anwendungen, die menschliches Verhalten bewerten und unterschwellig beeinflussen. Auch biometrische Überwachung ­(genauer: Echtzeit-Fernidentifizierungssysteme) für die Strafverfolgung werden verboten. Es gibt aber Ausnahmen, zum Beispiel für die Suche nach Verdächtigen schwerer Straftaten.

Systeme mit hohem Risiko dürfen unter bestimmten Auf­lagen angewendet werden. In diese Klasse fallen KI-Anwendungen in den Bereichen Bildung, kritische Infrastruktur, Beschäftigung, essenzielle Dienstleistungen, Sicherheitskomponenten, Strafverfolgung, Migration und Recht. Hier soll KI erlaubt sein, aber nur nach einer Risikoabschätzung, mit menschlicher Kontrollinstanz und Mindeststandards für Sicherheit, Transparenz und Datenqualität. Wer solche Systeme einsetzt, muss kontinuierlich ihr Risiko überwachen und bewerten.

Systeme mit beschränktem Risiko unterliegen Transparenzpflichten. Beispielsweise sollen Nutzer:innen eines Chatbots darüber informiert werden, dass sie nicht mit einem Menschen, sondern mit einer KI kommunizieren. Systeme mit minimalem Risiko können frei genutzt werden. Das sind zum Beispiel Computer­spiele oder Spamfilter.

Es liegen bereits Forderungen nach Verschärfung auf dem Tisch, genau wie der Wunsch nach mehr Ausnahmen. Besonders das Verbot biometrischer Überwachung wird von verschiedenen Seiten infrage gestellt. Über 100 NGOs fordern ein komplettes Verbot im öffentlichen Raum. Der Europäische Datenschutzbeauftragte sieht das genauso.

„Ich habe doch nichts zu verbergen“, ist ein häufiges Gegen­argument. Viele Menschen fühlen sich nicht gestört von den ­Kameras, sondern geschützt. Angela Müller, die bei Algorithm Watch das Team Policy und Advocacy leitet, sieht das anders. „Wir alle als Individuen und Gesellschaft brauchen diesen Schutz“, sagt sie. Überwachung könne Einzelne davon abhalten, ihre Grundrechte wahrzunehmen. Versammlungsfreiheit zum Beispiel. Oder Meinungsfreiheit. Wer jederzeit überall identifiziert werden kann, geht vielleicht nicht zur Demo, nicht ins LGBTQ-Lokal oder nicht in die Moschee. Das würde letztlich die ganze Gesellschaft verändern.

Laut Algorithm Watch sollte das Verbot deshalb nicht auf Strafverfolgung beschränkt sein, sondern auch für andere Behörden gelten. Für Schulen, für Verkehrsbetriebe und auch für private Unternehmen, die öffentliche Aufträge erhalten. ­Welche ­Software in welche Risikoklasse fällt, dürfte also einer der größten Streitpunkte in den Diskussio­nen zwischen Abgeordneten und Mitgliedstaaten werden.

Mindestens genauso interessant ist die Definition der ­betroffenen Systeme. Es gibt keine einheitliche Definition von KI, auf die sich ein Gesetz beziehen könnte. Der Entwurf der Kommission beschreibt KI als eine Software, die menschlich festgelegte ­Ziele verfolgt, damit ihr Umfeld beeinflusst und dafür bestimmte Lerntechniken, logische Konzepte und statistische Methoden benutzt. Ist es das, was KI ausmacht?

Kristian Kersting forscht an der Technischen Universität Darmstadt zu KI, leitet dort die „KI und Machine Learning“-­Gruppe und ist Co-­Direktor des Hessischen KI-Centers. Er hat das Gefühl, dass die Verfasser:innen des Gesetzesvorschlags das Wesen von KI nicht ganz verstanden haben. „Wenn man sich die aktuelle Version anschaut, merkt man, dass die technische Expertise beim Schreiben gefehlt hat“, sagt der Experte, „das macht mir Sorgen“.

Zum Beispiel fordert der AI Act fehlerfreie Datensätze. Das sei zum einen technisch unmöglich, erklärt Kersting. Wer bestimmt, was ein Fehler ist? Ist ein Datensatz fehlerfrei, wenn er die Gesellschaft exakt widerspiegelt? Oder ist es falsch, wenn er dann Stereotypen und Vorurteile beinhaltet? Zum anderen sind fehlerfreie Daten auch gar nicht hilfreich für maschinelles Lernen – schließlich muss KI auch lernen, mit Fehlern umzugehen.

Um solche Widersprüche zu vermeiden, sollte die Politik laut ­Kersting enger mit der tatsächlichen KI-Entwicklung zusammenarbeiten. Das würde das Gesetz nicht nur weiter mit der tech­nischen Entwicklung verzahnen, sondern auch den Ton der Verordnung ändern, glaubt Kersting.

„Generell möchte ich gerne, dass der Respekt vor der Regulierung intelligenten Verhaltens irgendwo deutlich wird“, sagt er, „dass es irgendwo heißt: Wir sind uns bewusst, dass das alles sehr schwierig ist. Und nicht der Eindruck vermittelt wird, das ist total easy, wir packen alles in Kategorien und damit ist es gelöst“.

Denn mit der Kategorisierung von KI hat die EU-Kommission eine der schwierigsten Aufgaben in der KI-Forschung scheinbar per Fingerschnippen gelöst: Sie hat intelligentes Verhalten in vier Risikoklassen eingeteilt. Klingt einfach. Aber laut Kersting gibt es „nichts Schwierigeres, als festzustellen, ob intelligentes Ver­halten positiv oder negativ ist“. Im Stufensystem sieht er zwei Probleme: Die Kategorien sind zu absolut und zu wenig ­dynamisch.

Die Risikoklassen teilen Systeme in gut und schlecht ein, ohne den genauen Anwendungsfall zu berücksichtigen. Zum Beispiel sind KI-­Systeme, die Angestellte bewerten, in der Hochrisiko­klasse. Denn solche Systeme könnten Minderheiten ­diskriminieren. ­Kersting weist darauf hin, dass jede Technologie im Zuge des Dual Use unterschiedlich eingesetzt werden kann: „Was, wenn ein Unternehmen so ein System nutzt, um Diskriminierung zu erkennen und vorzubeugen? KI kann auch helfen, uns selbst den Spiegel vorzuhalten.“ Ausnahmen könnten solche Fälle abfangen.

Ginge es nach Kersting, müsste die EU die Risikoklassen ­laufend an die technische Entwicklung anpassen. Vielleicht ist es in ein paar Jahren besser möglich, mit Bias in Datensätzen umzugehen. Einige Probleme, die wir aktuell in bestimmten KI-­Anwendungen sehen, könnten technisch gelöst werden. „Ich möchte davor warnen, dass wir zu schnell Potenzial wegschneiden“, sagt er. Die Verbote und Risikobewertungen sollten seiner Meinung nach nicht für alle Zeiten gelten, sondern schnell überarbeitet werden können. „Den offenen Geist, da auch noch mal nachzurren zu können, vermisse ich“, sagt Kersting mit Blick auf die Risikoklassen.

Das zeigt sich auch am Beispiel des Verbots automatisierter Gesichts­erkennung in der Strafverfolgung. Es wäre etwa denkbar, dass eine solche Technologie in einem Gefängnis zum Einsatz kommt, um Suizidversuche von Gefangenen zu erkennen. Oder, dass bei kinder­pornografischen Inhalten die Gesichter verpixelt werden. Das könnte Beamt:innen, die die Videos sichten, ­emotional entlasten. Der AI Act würde den Einsatz eines solchen Systems aber womöglich in eine rechtliche Grauzone befördern. Denn der aktuelle Vorschlag schaut nur auf die Technologie, nicht aber auf den konkreten Anwendungsfall. In der praktischen Umsetzung sind also lange Debatten darüber zu erwarten, in welche Klasse konkrete KI-Systeme fallen.

Auch Algorithm Watch hat „große Zweifel“, ob der Ansatz mit den Risikoklassen funktioniert. Angela Müller weist darauf hin, dass ein System auf den ersten Blick harmlos erscheinen, aber in einem bestimmten Kontext Grundrechte von Menschen verletzen könnte. Genau wie Kersting wünscht sie sich Update-Mechanismen für die Risikoklassen.

Damit die Einhaltung der neuen Regeln kontrolliert wird, muss jedes EU-Mitglied eine Aufsichtsbehörde ernennen. Es soll quasi einen Tüv für KI geben. Im Vorschlag für den AI Act ist von 25 Vollzeitstellen pro Land die Rede. Ob das reicht, ist fraglich. Was passiert, wenn trotz Verbotes ein riskantes KI-System zum Einsatz kommt? Laut Müller hätten Betroffene in einem solchen Fall kaum eine Chance, sich zu wehren. Sie kritisiert, dass der AI Act zwar Pflichten für Anbieter:innen und Anwender:innen von Software enthält. Aber die Pflichten sind nicht in den Rechten für Betroffene gespiegelt.

Angela Müller vermisst zum Beispiel das Recht, einem verbotenen System nicht unterworfen zu sein. „Solange ich als Individuum dieses Recht nicht zugesprochen bekomme, ist es schwierig, mich zur Wehr zu setzen, wenn ich das Gefühl habe, einem System ausgesetzt zu sein, das eigentlich verboten ist“, erläutert Müller.

Während Organisationen wie Algorithm Watch einen stärkeren Schutz von Grundrechten fordern, ist anderen Playern schon die aktuelle Version des AI Acts zu stark. Der KI-Bundesverband befürchtet, dass es für mittelständische Unternehmen und ­Startups, die ­KI-Systeme anbieten, zu teuer wird, die Konformitäts­bewertungen zu machen. Der Verband findet außerdem, dass insgesamt zu viele Systeme reguliert werden und eine ganze Industrie unter Generalverdacht gestellt werde. „Wenn die Regulierung zu stark ausfällt, glaube ich, dass Innovation gefährdet wird“, stimmt Kersting zu. Aber er glaubt daran, dass eine Regulierung, die flexibel genug ist, um mit der rasanten KI-Entwicklung Schritt zu halten, Innovationen auch fördern kann.

Ein modernes und werteorientiertes KI-Gesetz könnte also zum Standortvorteil werden. „Weder Regulierung noch Inno­vation sind ein Selbstzweck“, erklärt Müller, „beide dienen eigentlich demselben Zweck, nämlich im Interesse von Menschen und ­Gesellschaft zu sein“.

Aus dieser Perspektive ist der AI Act kein Spagat, sondern eine Brücke zwischen Innovation und Vorsicht. Wie genau eine solche Brücke aussehen kann, müssen das Europäische Parlament und der Ministerrat in ihren weiteren Debatten ausformulieren. Bis zur Abstimmung über den endgültigen Entwurf könnten allerdings noch Monate oder gar Jahre vergehen.