Wie viel Rechtsunsicherheit steckt in Europas KI-Verordnung?

Co-Autor: Amon Dieker

Eines der weltweit ersten Gesetze zur Regulierung Künstlicher Intelligenz befindet sich auf der Zielgeraden: Die KI-Verordnung (AI Act). In dieser Analyse beleuchten wir vier besonders kritische Themen, um die im Gesetzgebungsprozess lange gerungen wurde: die Definition von KI-Systemen, Hochrisiko-KI, biometrische Echtzeit-Fernidentifikation und General Purpose AI. Besteht nun Klarheit für Entwickler und Betreiber?

Einleitung

Nach langem Ringen ist es soweit: Im Januar 2024 wurde die voraussichtlich finale Fassung des Textes der europäischen KI-Verordnung („KI-VO“) veröffentlicht. Nachdem über zahlreiche inhaltliche Aspekte heftig gestritten wurde, hatte es bereits im Dezember 2023 eine vorläufige politische Einigung gegeben (eine kurze Analyse der Einigung haben wir bereits hier vorgenommen). Das Ergebnis der Diskussionen soll hier anhand des nunmehr (wohl) finalen Textes überblicksweise dargestellt und beurteilt werden – mit besonderem Fokus auf einzelne Themen, die sich im Gesetzgebungsverfahren als besonders kritisch offenbart haben. Dabei soll insbesondere auch die Frage beantwortet werden, ob die drohende Rechtsunsicherheit, die an bisherigen Fassungen kritisiert wurde, im finalen Text bewältigt werden konnte. Schon vorweg: Hinsichtlich der Grundbegriffe der Verordnung – dem KI-System und dem Hochrisiko-KI-System – haben sich nur wenige Änderungen ergeben. Bezüglich zweier Regelungsziele wurde bis zuletzt intensiv gerungen: Die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum und General Purpose AI (KI für allgemeine Zwecke, im Folgenden: GPAI).

Begriff der Künstlichen Intelligenz

Formulierung im finalen Text

Die Definition eines KI-Systems im Sinne der Verordnung steht nun endgültig fest. Nach Art. 3 Abs. 1 KI-VO ist ein KI-System „ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie arbeiten soll und nach der Einführung Anpassungsfähigkeit zeigen kann und explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, und Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann, die physische oder virtuelle Umgebungen beeinflussen können“ (Wortsinnübersetzung aus dem englischsprachigen finalen Entwurf). Diese Definition ist die aktuelle von mehreren Definitionen, die von der Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) genutzt wird. Die Verwendung einer solchen international entwickelten und abgestimmten Definition soll deren Akzeptanz erhöhen und die Harmonisierung vereinfachen.

Bewertung

Die Definition zeichnet sich vor allem durch eine technologieoffene Formulierung aus, die ihre Anwendung auch für nicht vorhersehbare Entwicklungen in der Zukunft gewährleisten soll. Kehrseite der offenen Formulierung ist jedoch, dass die Definition sehr weit gefasst ist und auslegungsbedürfte Begriffe enthält. Es könnte möglicherweise auch einfache Software in den Anwendungsbereich der Regulierung fallen. Für solche Zwecke ist die Verordnung aber nicht vorgesehen. Schon nach Veröffentlichung des ersten Entwurfs der KI-VO durch die Kommission ist diese Kritik an der Bestimmtheit der Begriffe und deren Definitionen aufgekommen und hat sich nun auch mit der finalen Definition nicht erledigt.

Immerhin: Im Vergleich zu den vorherigen Fassungen besteht die Möglichkeit, anhand der nochmals erweiterten Erwägungsgründe eine Eingrenzung vorzunehmen. So erläutert Erwägungsgrund 6, dass keine Systeme umfasst sein sollen, „die auf Regeln beruhen, die ausschließlich von natürlichen Personen zur automatischen Ausführung von Operationen festgelegt wurden. Ein wesentliches Merkmal von KI-Systemen ist ihre Fähigkeit, Schlüsse zu ziehen. […] Zu den Techniken, die beim Aufbau eines KI-Systems Schlussfolgerungen ermöglichen, gehören Ansätze des maschinellen Lernens, die aus Daten lernen, wie bestimmte Ziele zu erreichen sind, sowie logik- und wissensbasierte Ansätze, die aus kodiertem Wissen oder einer symbolischen Darstellung der zu lösenden Aufgabe Schlussfolgerungen ziehen. Die Fähigkeit eines KI-Systems, Schlussfolgerungen zu ziehen, geht über die grundlegende Datenverarbeitung hinaus und ermöglicht Lernen, logisches Denken oder Modellierung. […] KI-Systeme sind so konzipiert, dass sie mit unterschiedlichem Grad an Autonomie arbeiten, d. h. dass sie ein gewisses Maß an Unabhängigkeit der Handlungen von menschlicher Beteiligung und an Fähigkeiten haben ohne menschliches Eingreifen zu arbeiten“ (Wortsinnübersetzung aus dem englischsprachigen finalen Entwurf).

Demnach ist es der Grad an Unabhängigkeit, der über den Unterschied von KI-Systemen und herkömmlicher Software entscheidet. Dieses Merkmal ist jetzt auch in der Definition in Art. 3 Abs. 1 KI-VO ausdrücklich genannt. Bei einfachen Programmen wie durchschnittlicher Bürosoftware kann die Abgrenzung so vergleichsweise einfach durchgeführt werden. Für komplexere Software mit weitergehenden Möglichkeiten besteht aber weiterhin Unklarheit und dementsprechend insbesondere für Anbieter und Betreiber Rechtsunsicherheit. In diesen Fällen würde es allein auf das Merkmal ankommen, „Schlussfolgerungen zu ziehen“. Wie sich diese, auf menschliche Vorgänge bezogene Formulierung auf die rechtliche Bewertung maschineller Abläufe umsetzen lässt, ist derzeit offen. Das kann im Einzelfall zu einem eher risikoaversen Verhalten führen. Dies resultiert schlimmstenfalls in der Nicht-Bereitstellung oder Nicht-Nutzung fraglicher Software. Es bleibt abzuwarten, wie die Praxis mit der Definition zum KI-System umgehen wird. Neben juristischer Expertise wird hier vor allem das technische Verständnis von Bedeutung sein.

Hochrisiko-KI-Systeme

Formulierung im finalen Text

Auch die Bestimmung der passenden Risiko-Kategorie des KI-Systems ist von großer Bedeutung. Der risikobasierte Ansatz der KI-VO sieht vor, dass das Risiko, das von dem jeweiligen System ausgeht, maßgeblich für den Umfang der Verpflichtungen von Anbietern und Betreibern des Systems ist. Auch im finalen Entwurf hat sich die Einteilung in geringes, begrenztes, hohes und unannehmbares Risiko durchgesetzt.

Abgesehen von einem Verbot, treffen die umfangreichsten Verpflichtungen Anbieter und Betreiber von Hochrisiko-KI-Systemen. Wann ein solches Hochrisiko-KI-System vorliegt, bestimmen Art. 6 Abs. 1 und 2 KI-VO. Nach Art. 6 Abs. 1 muss es sich bei dem System entweder um ein Produkt oder um eine Sicherheitskomponente eines Produkts handeln, das in den Anwendungsbereich der in Anhang II aufgezählten Harmonisierungsvorschriften fällt und einer Konformitätsbewertung durch Dritte unterzogen werden muss, bevor es auf den Markt gebracht werden kann. Darunter wird die „embedded AI“ verstanden, also KI, die in ein in sich abgeschlossenes Produkt integriert ist oder ein solches Produkt darstellt.

Darüber hinaus liegt gemäß Art. 6 Abs. 2 KI-VO auch ein Hochrisiko-KI-System vor, wenn es in Anhang III genannt ist. Anhang III ist ein Katalog von besonders risikobehafteten Anwendungsbereichen, in denen ein sensibler Umgang mit KI-Systemen erforderlich ist. Dieser Katalog umfasst beispielsweise Systeme, die zum Zweck der Sicherung der Verwaltung von kritischen Infrastrukturen oder zur Auswahl von Bewerbern dienen; also Feldern, in denen Grundrechte durch automatisierte Entscheidungen besonders zu schützen sind. Die Kommission hat zudem das Recht, den Katalog des Anhangs III zu erweitern, wenn das KI-System in die im Anhang genannten Bereiche fällt und ein Risiko für Gesundheit, Sicherheit oder die Grundrechte darstellt und dieses Risiko ebenso hoch oder höher ist, als das der im Anhang bereits genannten Hochrisiko-KI-Systeme.

Bewertung

Liegt ein Hochrisiko-KI-System vor, führt das beim Verantwortlichen zu weitgehenden Pflichten. Neben den grundsätzlichen Anforderungen an das Hochrisiko-KI-System (Art. 8-15 KI-VO) müssen Anbieter ein Konformitätsbewertungsverfahren durchführen, sich in einer EU-Datenbank registrieren und haben darüber hinaus besondere Mitwirkungspflichten gegenüber Behörden. Insgesamt gehen die Verpflichtungen weit und können bei den Verantwortlichen zu erheblichem Aufwand führen. Mit der starken Regulierung soll ein bestmöglicher Schutz der Grundrechte von Personen bewirkt werden, die von automatisierter Verarbeitung betroffen sind.

Eine beachtenswerte Entwicklung ist insoweit, dass die in Art. 29a KI-VO geregelte Grundrechtsfolgenabschätzung in der finalen Fassung im Vergleich zu den früheren Versionen deutlich abgeschwächt wurde. Während zuvor jeder Verantwortliche verpflichtet war, eine Überprüfung der Grundrechtsfolgen durchzuführen, sollen nunmehr nur staatliche Akteure sowie private Akteure, die staatliche Aufgaben wahrnehmen, dazu verpflichtet sein. Es bleibt aber weiter das Problem, dass private Akteure nicht direkt an Menschenrechte gebunden sind und diese daher eigentlich auch nicht gefährden können. Vor dem Hintergrund, dass im Rahmen von Art. 9 KI-VO ohnehin eine Risikobewertung vorgenommen wird und gemäß Art. 35 DSGVO eine Datenschutzfolgeabschätzung im Falle der Verarbeitung personenbezogener Daten erfolgt, stellen sich weiter Abgrenzungsfragen.

Eine weitere Änderung im finalen Text bildet die Klarstellung, dass KI-Systeme gemäß Art. 6 Abs. 2a S. 1 KI-VO nicht als hochriskant gelten, wenn sie kein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen darstellen und materiell auch keinen wesentlichen Einfluss auf Entscheidungsprozesse haben. Dies ist gemäß Art. 6 Abs. 2a S. 2 KI-VO dann der Fall, wenn das KI-System nur

• eng umgrenzte verfahrenstechnische Aufgaben erfüllt;
• dazu dient, das Ergebnis einer zuvor ausgeführten menschlichen Tätigkeit zu verbessern;
• dazu bestimmt ist, Entscheidungsmuster oder Abweichungen von solchen Mustern zu erkennen oder
• eine vorbereitende Aufgabe für die Bewertung zu Zwecken aus Anhang III erfüllen soll.

Fällt das KI-System unter die Ausnahme, müssen die Verantwortlichen die Pflichten für Hochrisiko-KI-Systeme nicht erfüllen. Ihr System gilt dann als System mit begrenztem Risiko. Die Beurteilung, ob die Ausnahme vorliegt, nehmen die Verantwortlichen selbst vor. Zu berücksichtigen sind dafür die gleichen Kriterien, die auch die Kommission nach Art. 7 Abs. 2 KI-VO für die Einordnung von Hochrisiko-KI einsetzt, also insbesondere der Verwendungszweck des KI-Systems, der Umfang der Nutzung, die Art und Menge der verarbeiteten Daten, der Grad der Autonomie des Systems, potentielle Auswirkungen eines Schadens sowie frühere Schadensfälle.

Damit ist das Risiko verbunden, dass sich die Anbieter falsch einschätzen und ein Hochrisiko-KI-System betreiben, ohne die dafür erforderlichen Vorgaben einzuhalten. Ebenso wie bei der richtigen Einordnung unter die Definition des KI-Systems bedarf es hier technischer und juristischer Expertise, um Rechtssicherheit zu erzielen. Aus den neuen Vorschriften allein ergibt sich diese noch nicht. Abzuwarten bleibt insoweit die bereits im Parlamentsentwurf in Art. 6 Abs. 2c KI-VO vorgesehene Verpflichtung der Kommission, nach Inkrafttreten der KI-VO Leitlinien für die Einschätzung der Gefährdung von Gesundheit, Sicherheit und Grundrechten herauszugeben.

Konfliktthema: Biometrische Echtzeit-Fernidentifizierungssysteme

Ausgangssituation

Ein hochumstrittenes Thema stellen biometrische Identifizierungsysteme dar. Insbesondere über die Echtzeit-Fernidentifizierung im öffentlichen Raum wurde im Trilogverfahren intensiv debattiert. Konkret meint das die Gesichtserkennung in Echtzeit mittels Überwachungsaufnahmen des öffentlichen Raums zu Strafverfolgungszwecken. Das Interesse des Staates an effektiver Verfolgung von Straftaten steht den Freiheits- und Persönlichkeitsrechten der betroffenen Personen gegenüber. Die Diskussion ist bereits aus dem Datenschutz bekannt und im Rahmen der KI-VO nicht weniger relevant: Besteht die Möglichkeit, dass Aufnahmen in Echtzeit ausgewertet werden, übt das Druck auf die Betroffenen aus, der möglicherweise zu einer Verhaltensänderung führt. Diese Problematik besteht bei allen von den Aufnahmen betroffenen Personen und nicht nur bei denjenigen, die wegen einer möglichen Straftat verfolgt werden. Hinzu kommt, dass aufgrund verschiedener Faktoren wie Kameraqualität, Licht, Entfernung, Algorithmus sowie den körperlichen Eigenschaften der Person die Genauigkeit der Gesichtserkennungssysteme variieren kann. Es kann so zu falschen Verdächtigungen kommen.

Formulierung im finalen Text

Über die Zulässigkeit solcher Praktiken unter der KI-VO wurde deshalb bis zuletzt gestritten. In der finalen Textfassung ist die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum nun grundsätzlich verboten, es wurden aber Ausnahmen geregelt. Sie ist erlaubt, wenn:

• Eine der in Anhang IIa aufgeführten Straftaten (beispielsweise Menschenhandel, Mord, Vergewaltigung, illegaler Waffenhandel) einschlägig ist und eine vorherige Genehmigung durch eine Justiz- oder unabhängige Verwaltungsbehörde vorliegt sowie eine vorherige Grundrechte-Folgenabschätzung im Sinne des Art. 29a KI-VO durchgeführt und gemeldet wurde. Die Genehmigung und die Meldung der Folgenabschätzung können bei Dringlichkeit nachgeholt werden;
• für die gezielte Suche nach bestimmten Opfern und bei Entführungen, Menschenhandel und sexueller Ausbeutung von Menschen sowie der Suche nach Vermissten Personen;
• für die Abwendung einer Gefahr für das Leben und die körperliche Unversehrtheit von Personen sowie für die Abwendung eines gegenwärtigen oder vorhersehbar drohenden Terroranschlags.

Diese Einordnung spiegelt die Ergebnisse der politischen Einigung im Dezember wider, gegen die sich zuletzt nur noch wenige Mitgliedstaaten gewehrt hatten. Es bleibt diesen Staaten aber die Möglichkeit, auf nationaler Ebene strengere Vorschriften für die biometrische Echtzeit-Fernidentifizierung zu treffen. Die deutsche Regierung hat bereits verlauten lassen, von dieser Möglichkeit Gebrauch zu machen.

Konfliktthema: General Purpose AI

Ausgangssituation

Aufschluss gibt der finale Text der KI-VO nun auch über die bis zuletzt geführte Diskussion um General-Purpose AI-Modelle. Unternehmen hatten bis zuletzt befürchtet, bei der Nutzung solcher Modelle über die Verpflichtungen zu Hochrisiko-KI hinausgehende Vorgaben einhalten zu müssen. Der finale Entwurf der KI-VO definiert nun erstmals, wann ein solches System überhaupt vorliegt und zu welchen Bedingungen es betrieben werden kann.

Formulierung im finalen Text

Ein GPAI-System ist gemäß Art. 3 Abs. 44e KI-VO ein System, das auf einem GPAI-Modell basiert, für eine Vielzahl von Zwecken eingesetzt werden kann, sowohl für die direkte Nutzung, als auch für die Integration in andere Systeme (Wortsinnübersetzung aus dem englischsprachigen finalen Entwurf). Ein GPAI-Modell ist gemäß Art. 3 Abs. 44e KI-VO ein Modell, „das mit einer großen Datenmenge und in großem Maßstab unter Selbstüberwachung trainiert wurde, eine erhebliche Allgemeinheit aufweist und in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben kompetent auszuführen […]“ (Wortsinnübersetzung aus dem englischsprachigen finalen Entwurf).

Für derartige Systeme sind – wie erwartet – spezielle Anforderungen zu erfüllen. Insbesondere sind Transparenzpflichten und Bestimmungen zum Urheberrecht zu beachten. Diese Pflichten treffen aber im Wesentlichen nur die Anbieter der GPAI. Betreiber können aufatmen, sie müssen bei der Nutzung von GPAI nicht mit deutlich erhöhtem Aufwand rechnen.

Darüber hinaus wurde eine besondere Kategorie solcher Systeme normiert: GPAI mit systemischem Risiko. Ein solches System liegt vor, wenn es mit einer besonders hohen Rechenleistung (10^25 Fließkommaoperationen, sogenannte FLOPS) trainiert wurde. Für diese gelten nochmals erhöhte Anforderungen, die unter anderem Tests- und Evaluationen, Risikobewertungen, Cybersicherheitsanforderungen sowie Dokumentation umfassen (Art. 52d KI-VO).

Aus dem finalen Text ergibt sich außerdem, dass GPAI-Systeme nicht grundsätzlich als Hochrisiko-Systeme gelten, sondern der allgemeinen Risikoeinordnung zugänglich sind. Es kann demnach auch GPAI-Systeme geben, die nur ein begrenztes Risiko bergen und dementsprechend geringe Anforderungen an Anbieter und Betreiber stellen (dazu und zu weiteren Erkenntnissen zu GPAI findet sich hier eine Übersicht). Für die Überwachung und Durchsetzung der Vorgaben für GPAI-Systeme ist ausschließlich das neu zu schaffende AI-Office verantwortlich, das auf europäischer Ebene agiert. Darin liegt ein Unterschied zu sonstigen KI-Systemen, deren Überwachung in den Verantwortungsbereich der mitgliedstaatlichen Behörden fällt.

Fazit

Im finalen Text der KI-VO verbleiben trotz der intensiven Verhandlungen und Überarbeitungen an einigen Stellen weite, auslegungsbedürftige und nur mit technischem Sachverstand auszufüllende Regelungen. Daraus resultiert nach wie vor ein Grad an Rechtsunsicherheit, der es den Verantwortlichen erschweren könnte, die weitreichenden Verpflichtungen umzusetzen. Der zeitliche Druck, der auf den Beteiligten des Trilogverfahrens mit Blick auf die nahende Europawahl lastete, zeigt seine Auswirkungen.

Nichtsdestotrotz ist es gelungen, ein Gesetz zu schaffen, das – stellenweise unter Zuhilfenahme der Erwägungsgründe – eine zweckmäßige Regulierung von KI bewirkt. Die Normierung von GPAI ist nach der intensiven Diskussion im Trilog zu begrüßen. Insbesondere hinsichtlich der biometrischen Echtzeit-Fernidentifizierung wurden klare Regeln aufgestellt. Es bleibt zu hoffen, dass es den Anbietern, Betreibern und sonstigen Adressaten der Verordnung mit technischer und juristischer Unterstützung sowie den angekündigten Leitlinien der Kommission gelingen wird, die Attraktivität des europäischen Markts für KI-Systeme zu stärken.

Ausblick

Voraussichtlich bis April soll die finale Zustimmung zum Text im Europäischen Parlament erfolgen. Kurze Zeit später wird die KI-VO im EU-Amtsblatt veröffentlicht werden und tritt dann am 20. Tag nach der Veröffentlichung in Kraft, also bis etwa Juni 2024. Es ist ein abgestuftes Verfahren für die Anwendung der Regelungen vorgesehen:

• 6 Monate nach Inkrafttreten (ca. Dezember 2024): Abschaltung verbotener KI-Systeme.
• 12 Monate nach Inkrafttreten (ca. Juni 2025): Verpflichtungen für GPAI-Systeme werden anwendbar.
• 24 Monate nach Inkrafttreten (ca. Juni 2026): Alle Vorschriften der KI-VO werden anwendbar, insbesondere die für Hochrisiko-KI-Systeme nach Anhang III.
• 36 Monate nach Inkrafttreten (ca. Juni 2027): Verpflichtungen für Hochrisiko-KI-Systeme nach Anhang II werden anwendbar.