Die KI-Verordnung der EU hat einen langen Weg hinter sich. Der erste Vorschlag wurde bereits im April 2021 vorgelegt, also mehr als ein Jahr, bevor die Veröffentlichung von ChatGPT den derzeitigen KI-Hype befeuert hat. Es folgte ein zähes Ringen darüber, wie stark die EU die Technologie regulieren soll.

Vor allem Deutschland, Frankreich und Italien hatten sich gegen zu strenge Regelungen gewehrt, weil sie Wettbewerbsnachteile befürchtet hatten. Am 8. Dezember 2023 kam die Einigung, und der zuständige EU-Kommissar Thierry Breton twitterte: „Deal!“ Am 13. März 2024 gab auch das EU-Parlament grünes Licht. Damit war der Weg für das erste wirklich umfassende KI-Gesetz der Welt frei.

Jetzt ist der AI Act der EU in Kraft getreten. Seit dem 1. August 2024 müssen sich Unternehmen mit KI-Systemen – zunächst teilweise – an die neuen Richtlinien halten. Die EU möchte die neuen Regelungen schrittweise einführen. So gelten Verbote beispielsweise erst ab Februar 2025, einige Verpflichtungen für besonders risikoreiche KI-Systeme erst 36 Monate nach dem Start des AI Acts. Bis auf diese Ausnahme soll der AI Act aber spätestens zwei Jahre nach Einführung bindend sein.

Welche Auflagen KI-Systeme erfüllen müssen, hängt vor allem von deren Einsatzgebiet ab. Ein KI-Tool, das etwa Witze generiert, muss kaum Auflagen erfüllen. Wird eine KI aber beispielsweise eingesetzt, um im Unternehmen über die Bewerber:innen zu entscheiden oder Anträge von Arbeitslosen zu prüfen, dann gilt sie als Hochrisiko-KI.

Solche hochriskanten KI-Anwendungen müssen zukünftig strenge Auflagen erfüllen. So muss etwa nachgewiesen werden, dass die Trainingsdaten nicht zu einer Benachteiligung bestimmter Gruppen führen. Außerdem müssen die Entscheidungen solcher Systeme immer von Menschen überwacht werden. Die vier Risikoklassen des AI Acts sind:

• Inakzeptables Risiko: KI-Systeme, die eine klare Gefahr für Menschen und deren Sicherheit darstellen. Dazu zählen etwa Systeme, die Menschen biometrisch kategorisieren, sie ohne ihr Wissen beeinflussen oder einen Social-Score aufgrund ihres Verhaltens und ihrer Aktivitäten erstellt. Diese Gruppe der KI-Systeme ist verboten.
• Hohes Risiko: KI-Systeme, die wesentliche Auswirkungen auf die Sicherheit, Gesundheit und Grundrechte von Menschen haben könnten. Dazu zählen KI-Systeme, die in medizinische Geräte, Fahrzeuge und Maschinen implementiert werden sollen. Welche Regeln diese KI-Systeme einhalten müssen, erfahrt ihr weiter unten.
• Begrenztes Risiko: KI-Systeme, bei denen ein Risiko der Manipulation besteht. Dazu zählen etwa Chatbots, die Falschinformationen verbreiten können. Menschen müssen über die Interaktion mit einer KI informiert und KI-generierte Medien als solche gekennzeichnet werden.
• Minimales Risiko: Alle KI-Systeme, die keinen der oben genannten Risikopunkte erfüllen. Die Systeme können ohne Einschränkungen durch den AI Act angeboten und genutzt werden.

Es gibt mehrere KI-Funktionen, die zur Kategorisierung als „inakzeptables Risiko“ beitragen. Die wichtigsten Punkte stellen wir euch hier genauer vor:

• Social-Scoring: KI-Systeme, die Personen aufgrund ihrer Aktivitäten, ihres Verhaltens und ihrer Eigenschaften bewerten. Der AI Act soll verhindern, dass Menschen aufgrund des Social-Scores unfair behandelt oder diskriminiert werden.
• Unterschwellige Manipulation: Das Verändern des Verhaltens oder der Meinung einer Person durch KI, ohne dass sie es mitbekommt. Dazu zählt auch das Ausnutzen von Schwachpunkten, wie des Alters, der physischen und mentalen Fertigkeiten sowie der finanziellen Situation.
• Biometrische Erfassung in Echtzeit: Verbote der Erfassung in öffentlichen Räumen. Auch die nachgehende Identifikation ist verboten. Allerdings gibt es Ausnahmen für KI-Systeme, wenn diese Funktion etwa der Verhinderung von Terrorismus oder dem Auffinden von Entführungsopfern gilt.
• Erkennung von Emotionen: KI-Systeme, die die Emotionen von Personen am Arbeitsplatz oder in Bildungseinrichtungen messen. Diese Funktion ist aber für einige KI-Systeme mit „hohem Risiko“ erlaubt. Beispielweise, wenn erkannt werden soll, ob Autofahrer:innen einschlafen oder betrunken sind.
• Scraping von Gesichtern: Das Sammeln von Bildern von Gesichtern aus dem Netz oder von Überwachungskameras für das weitere Training von KI-Systemen.
• Voraussagen in der Polizeiarbeit: Feststellen, ob eine Person künftig aufgrund ihrer Eigenschaften ein Verbrechen verüben könnte.

Ein großer Streitpunkt war die Regulierung von KI-Basismodellen. Darunter versteht man KI-Modelle, die anhand riesiger Datenmengen trainiert und später dann auf spezifische Anwendungsfälle optimiert werden. Bekannte Beispiele für solche Basismodelle sind GPT-4o, Gemini oder Llama 3.

Wer solche Basismodelle entwickelt, muss zukünftig anhand einer „technischen Dokumentation“ Auskunft über die Trainingsdaten und Testverfahren liefern. Außerdem muss ein Nachweis darüber erbracht werden, dass geltendes Urheberrecht eingehalten wurde.

Strenger werden die Auflagen bei KI-Modellen, die „hohe Risiken“ bergen. Solche Systeme müssen weitere Vorgaben zur Cybersicherheit und dem Risikomanagement einhalten. Ob ein KI-Modell in diese Kategorie fällt, soll die beim Training eingesetzte Rechenleistung bestimmen.

Die Grenze soll bei 10^25 Gleitkommaoperationen liegen. Nur wenige Basismodelle dürften derzeit oberhalb dieser Schwelle liegen.  GPT-4o von OpenAI könnte aber dazugehören.

Insgesamt müssen Unternehmen, die eine KI mit hoher Risikostufe betreiben, auf zehn Richtlinien achten. Halten sie diese nicht ein, können hohe Strafen drohen, wie wir euch weiter unten zeigen. Die KI-Verordnung sieht vor, dass folgende Punkte eingehalten werden:

1. Die KI-Systeme müssen ein Qualitätsmanagement-System haben, bei dem im gesamten Entwicklungsprozess festgehalten wird, welche Risiken es gibt und wie sie beseitigt werden. Dazu gehören auch umfängliche Testprozesse sowie das Monitoring und das Melden von Vorfällen nach der Veröffentlichung der KI.
2. Unternehmen müssen eine Analyse vorlegen, die aufzeigt, welche Personengruppen oder wie die Umwelt von ihrer KI negativ beeinflusst werden könnte.
3. Es müssen Kontaktdaten für Nutzer:innen bereitstehen.
4. Die Unternehmen müssen Logs über ihre Arbeit an der KI und deren Nutzung führen. Dazu zählen die Zeiten, in denen das System genutzt wird und die Input-Daten.
5. KI-Systeme müssen transparent zeigen, welche Limits das System hat und dass Nutzer:innen mit einer KI interagieren.
6. Alle relevanten Dokumente zur KI (technische Dokumentationen, Qualitätsmanagement und rechtliche Unterlagen) müssen mindestens zehn Jahre aufgehoben werden.
7. Das KI-System muss registriert werden und eine Konformitätsuntersuchung bestehen. Sollte bei der Untersuchung festgestellt werden, dass Regularien nicht eingehalten werden, müssen Anpassungen an der KI vorgenommen werden.
8. Sollte es nach der ersten Untersuchung Grund zur Annahme geben, dass die Regularien nicht eingehalten werden, muss das KI-System eine weitere Konformitätsuntersuchung bestehen.
9. KI-Systeme müssen so entworfen sein, dass sie von Menschen überwacht werden können. Ziel der Menschen sollte es sein, die Risiken des Systems zu minimieren und zu verhindern.
10. KI-Systeme müssen Maßnahmen zur Cybersicherheit treffen. Dazu zählen der Schutz vor Angriffen, das Verhindern von Ausfällen und das Verhindern von der Output-Manipulation.

Wie bei früheren EU-Gesetzen sollen sich die Geldstrafen für Firmen an ihrem weltweiten Jahresumsatz orientieren. Wer von der EU verbotene KI-Systeme einsetzt, soll mindestens 35 Millionen Euro oder sieben Prozent des Vorjahresumsatzes zahlen müssen.

KI-Firmen, die ihren im AI Act festgelegten Verpflichtungen nicht nachkommen, sollen wiederum drei Prozent des Vorjahresumsatzes oder mindestens 15 Millionen Euro Strafe zahlen. Wer inkorrekte Informationen über sein KI-Modell liefert, soll 1,5 Prozent des Umsatzes oder mindestens 7,5 Millionen Euro Strafe zahlen.

Für Startups und mittelständische Unternehmen sind geringere Strafen angesetzt. Hier soll immer die niedrigstmögliche Strafzahlung aus den vorherigen Strafen gewählt werden.

Mit dem Inkrafttreten der KI-Verordnung soll es auch neue Regulierungsbehörden geben. Innerhalb der EU-Kommission wird eine KI-Behörde eingerichtet, die die Einhaltung der Regeln für Basismodelle überwachen soll.

Auf nationaler Ebene sorgen die jeweils zuständigen Behörden für die Einhaltung der Regelungen. Die wiederum sollen in einem EU-Ausschuss zusammenkommen, um so sicherzustellen, dass das Gesetz in den verschiedenen EU-Staaten einheitlich interpretiert wird.

Im Laufe der Verhandlungen über den AI Acts gab es vordergründig positive Stimmen von EU-Politiker:innen. So betonte etwa Dragoş Tudorache, dass der AI Act „der Gesellschaft dienen wird“. Stimmen von KI-Expert:innen zeichnen ein etwas anderes Bild. Sie kritisieren vor allem, dass viele Begrifflichkeiten innerhalb des AI Acts nicht umfassend geklärt sind.

Das beginnt laut den Expert:innen bereits bei der Definition von KI. Laut dem Gesetz ist eine KI ein „maschinenbasiertes System, das entworfen wurde, um mit variierenden Stufen der Autonomie zu handeln und das möglicherweise auch nach der Veröffentlichung Anpassungsfähigkeit zeigt.“ KI definiert sich laut AI Act zudem durch den generierten Output wie Vorhersagen, Empfehlungen oder Entscheidungen, die ihre Umgebungen beeinflussen könnten.

Diese Kategorisierung könnte laut Expert:innen zu allgemein gefasst sein und damit auch deutlich simplere Software umfassen. Unternehmen, die solche Software herstellen, könnten dadurch verunsichert und womöglich bestraft werden, obwohl sie keine KI entwickelt haben. Zudem beinhaltet der AI Act keine Unterscheidung zwischen Open-Source-AI und geschlossenen Projekten. Transparente KI-Systeme könnten dadurch ebenfalls mittelfristig einen Nachteil davontragen.