Die KI-Verordnung – Zeitenwende in der KI-Regulierung? Ein Überblick.

Schon seit geraumer Zeit beschäftigt sich die EU mit dem Thema „Künstliche Intelligenz“, insbesondere auch mit der Schaffung eines geeigneten Rechtsrahmens. Ende April 2021 legte die EU-Kommission schließlich einen „Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union“ (im Folgenden „KI-Verordnung)“ vor – und damit den nach eigener Aussage „weltweit ersten Rechtsrahmen für KI“. Doch was steckt dahinter? Was soll wie geregelt werden? Welche Auswirkungen können mit der KI-Verordnung einhergehen? Diesen Fragen wollen wir mit der Interface-Ausgabe zur KI-Verordnung nachgehen. Den Auftakt macht der vorliegende Überblick.

Gesetzgeberischer Hintergrund

Das Europäische Parlament und der Europäische Rat äußerten in der Vergangenheit ausdrücklich und wiederholt Forderungen für legislative Maßnahmen oder trafen Entschließungen in Bezug auf Systeme der künstlichen Intelligenz („KI-Systeme“). Die EU-Kommission veröffentlichte unter anderem 2018 ihre europäische KI-Strategie „Künstliche Intelligenz für Europa“ und einen „Koordinierten Plan für Künstliche Intelligenz“, setzte eine hochrangige Expertengruppe für künstliche Intelligenz ein und veröffentlichte auf dieser Basis 2019 „Leitlinien für vertrauenswürdige KI“.  2020 veröffentlichte die EU-Kommission vor diesem Hintergrund schließlich ihr „Weißbuch zur Künstlichen Intelligenz – Ein europäisches Konzept für Exzellenz und Vertrauen“ („Weißbuch“), das erstmalig ein spezifisches Konzept zur Regulierung von KI entwickelte. Insbesondere diese Maßnahmen bilden die Grundlage für den aktuellen Vorschlag der KI-Verordnung.

Grundlegendes zur KI-Verordnung

Täglich erlebt man die rasante Entwicklung von KI-Technologien. Ihnen wird ein vielfältiger Nutzen für Wirtschaft und Gesellschaft über das gesamte Spektrum industrieller und gesellschaftlicher Aktivitäten nachgesagt. Anderseits können sich mit ihrem Einsatz potentiell auch neue oder gewandelte Risiken oder Nachteile für den Einzelnen oder die Gesellschaft ergeben, beispielsweise im Zusammenhang mit auf Basis von KI funktionierendem „Social Scoring“ oder biometrischer Gesichtserkennung. Die KI-Verordnung soll insoweit grundsätzlich dem Ausgleich der Balance zwischen Nutzen und Risiken von KI-Technologien dienen. Ausweislich der Begründung zum Vorschlag enthält die KI-Verordnung einen Regulierungsansatz für KI, „der die Verhältnismäßigkeit wahrt und auf die Mindestanforderungen beschränkt ist, die zur Bewältigung der in Verbindung mit KI auftretenden Risiken und Probleme notwendig ist, ohne die technologische Entwicklung übermäßig einzuschränken oder zu behindern oder anderweitig die Kosten für das Inverkehrbringen von KI-Lösungen unverhältnismäßig in die Höhe zu treiben“. Der Vorschlag enthält dementsprechend harmonisierte Vorschriften für die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen in der Union. Hauptziel ist, durch deren Festlegung für ein reibungsloses Funktionieren des Binnenmarkts zu sorgen. Unter Abwägung verschiedener politischer Optionen entschied sich die EU-Kommission im Vorschlag vor diesem Hintergrund für „ein horizontales EU-Rechtsetzungsinstrument gestützt auf Verhältnismäßigkeit und einen risikobasierten Ansatz, ergänzt durch einen Verhaltenskodex für KI-Systeme, die kein hohes Risiko darstellen“. Der Vorschlag folgt insoweit einem bereits im Weißbuch angelegten risikobasierten Ansatz, nach dem KI-Systeme nach ihrem potentiellen Risiko in Kategorien eingruppiert werden: unannehmbares Risiko, hohes Risiko und geringes oder minimales Risiko.

Überblick über die wesentlichen Regelungsinhalte

Die KI-Verordnung legt zunächst deren Anwendungsbereich fest. Auffällig sind hierbei insbesondere zwei Regelungsgegenstände: Die Definition von KI-Systemen sowie der weitgehende räumliche Anwendungsbereich. KI-Systeme werden legaldefiniert als „eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren.“ Zu den in Anhang I aufgeführten Techniken und Konzepten zählen das maschinelle Lernen, Logik- und wissensgestützte Konzepte sowie statistische Ansätze und Bayesianische Schätz-, Such- und Optimierungsmethoden. Kritiker erkennen hier mehrere auslegungs- und konkretisierungsbedürftige Merkmale. Gewissermaßen könnte man jegliche aufwändigere Software hierunter fassen, sodass mit der Definition eine gewisse Konturlosigkeit einhergehe. Die KI-Verordnung wendet ferner zur Bestimmung des räumlichen Anwendungsbereichs das sogenannte „Marktortprinzip“ an. Anbieter, die KI-Systeme in der Union in Verkehr bringen oder in Betrieb nehmen, unabhängig davon, ob diese Anbieter auch in der Union oder einem Drittland niedergelassen sind, werden von dem räumlichen Anwendungsbereich der KI-Verordnung erfasst. Des Weiteren werden Nutzer von KI-Systemen erfasst, die sich in der Union befinden und Anbieter und Nutzer von KI-Systemen, die in einem Drittland niedergelassen oder ansässig sind, wenn das vom System hervorgebrachte Ergebnis in der Union verwendet wird. Folglich besteht eine Art „extraterritorialer Anspruch“ des EU-Rechts und ein weiter räumlicher Anwendungsbereich – die KI-Verordnung weist insoweit Parallelen zur Datenschutz-Grundverordnung auf. Ein Kernstück der KI-Verordnung ist der risikobasierte Ansatz: Einige als besonders schädlich eingestufte KI-Praktiken sollen verboten werden (siehe hierzu den Artikel „Verbotene Praktiken nach dem Entwurf der KI-VO – Verbietet die Europäische Kommission Instagram?“). Ferner enthält der Vorschlag eine äußerst umfangreiche Regulierung von Hochrisiko-KI-Systemen, also solchen Systemen, die erhebliche Risiken für die Gesundheit und Sicherheit oder die Grundrechte von Personen bergen (siehe hierzu den Artikel „Hochrisikosysteme: Gefahr erkannt – Gefahr gebannt?“). Für bestimmte KI-Systeme, die nicht den vorgenannten Risikokategorien unterfallen, werden nur minimale Transparenzpflichten vorgeschlagen, insbesondere für den Einsatz von Chatbots oder so genannten „Deepfakes“. KI-Systeme ohne ein ihnen innewohnendes, regulierungsbedürftiges Risiko sollen schließlich überhaupt nicht von der KI-Verordnung erfasst sein. Die EU-Kommission geht davon aus, dass die große Mehrheit der KI-Systeme hierunter fällt und nennt Anwendungen wie KI-gestützte Videospiele oder Spamfilter als Beispiel. Als das Herzstück des Vorschlags dürfte die Regulierung von Hochrisiko-KI-Systemen gelten. Sie müssen horizontalen Auflagen für vertrauenswürdige KI genügen und Konformitätsbewertungsverfahren unterzogen werden, bevor sie in der Union in Verkehr gebracht werden dürfen. Damit die Sicherheit und die Einhaltung bestehender Rechtsvorschriften zum Schutz der Grundrechte über den gesamten Lebenszyklus von KI-Systemen hinweg gewahrt bleiben, werden Anbietern und Nutzern dieser Systeme überaus umfassende Pflichten auferlegt, beispielsweise in Bezug auf Konformitätsbewertung, Risikomanagement-Systeme, technischer Dokumentation, Aufzeichnungspflichten, Transparenz und Bereitstellung von Informationen für die Nutzer, menschlicher Aufsicht, Genauigkeit, Robustheit und Cybersicherheit, Qualitätsmanagement-Systeme, Beobachtung nach dem Inverkehrbringen, Meldung schwerwiegender Vorfälle und Fehlfunktionen sowie Korrekturmaßnahmen. Besonderes Augenmerk bedarf in diesem Zusammenhang ferner die Einhaltung von Qualitätskriterien für Daten und Daten-Governance (siehe hierzu den Artikel „Daten-Governance in der KI-Verordnung – im Konflikt mit der DSGVO?“). Auf betroffene Unternehmen dürfte hier ein überaus umfassender und komplexer Umsetzungsaufwand zukommen. Unübersehbar zielt die KI-Verordnung ferner auf die Etablierung eines umfassende Rahmens für „KI-Produkt-Compliance“ (siehe hierzu den Artikel „CE-Zeichen für KI-Systeme - Ausweitung des Produktsicherheitsrechts auf künstliche Intelligenz“). Im Hinblick auf Hochrisiko-KI-Systeme, bei denen es sich um Sicherheitskomponenten von Produkten handelt, wird der Vorschlag zur Wahrung der Kohärenz, zur Vermeidung von Überschneidungen und zur Verringerung des Verwaltungsaufwands in die bereits vorhandenen sektorspezifischen Sicherheitsvorschriften eingebunden. So werden die Anforderungen an Hochrisiko-KI-Systeme, die mit unter den Neuen Rechtsrahmen (New Legislative Framework, NLF) fallenden Produkten (wie zum Beispiel Maschinen, medizinische Geräte, Spielzeug) in Verbindung stehen, im Rahmen der bestehenden Konformitätsbewertungsverfahren nach dem einschlägigen NLF-Recht geprüft. Für das Zusammenspiel der Anforderung gilt ausweislich der Gesetzesbegründung, dass die von den jeweiligen KI-Systemen abhängigen Sicherheitsrisiken den Anforderungen der KI-Verordnung unterliegen sollen, während mit dem NLF-Recht die Sicherheit des Endprodukts insgesamt gewährleistet werden soll. Des Weiteren sollen die Regelungen der KI-Verordnung durch die Mitgliedstaaten mittels einer Leitungsstruktur sowie mittels eines Kooperationsmechanismus auf Unionsebene durchgesetzt werden, auf der ein Europäischer Ausschuss für künstliche Intelligenz eingesetzt werden soll. Zusätzlich werden Maßnahmen zur Unterstützung von Innovation vorgeschlagen, vor allem in Form von KI-Reallaboren (siehe hierzu den Artikel „Innovation trifft Regulierung: Ein Sandkasten für Künstliche Intelligenz (KI)“). Auf Grundlage der KI-Verordnung sollen die Mitgliedstaaten ferner Vorschriften für Sanktionen erlassen, die bei Verstößen gegen KI-Verordnung Anwendung finden. Hier werden konkret auch Geldbußen genannt.  Die vorgesehenen Sanktionen müssen wirksam, verhältnismäßig und abschreckend sein. Der Bußgeldrahmen soll sich, je nach Verstoß, zwischen bis zu 30 000 000 Euro oder – im Falle von Unternehmen – von bis zu 6 Prozent und bis zu 10 000 000 Euro oder – im Falle von Unternehmen – von bis zu 2 Prozent des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres bewegen, je nachdem, welcher Betrag höher ist (siehe hierzu den Artikel „Bußgelder nach der KI-Verordnung – Ein Fass ohne Boden?“). Eine besondere Rolle spielt hier Art. 10 KI-Verordnung: Man fühlt sich unweigerlich an die DSGVO erinnert – und an die zuletzt horrenden Bußgelder, die Datenschutzbehörden auf deren Basis erlassen haben.

Ausblick

Die EU-Kommission hat mit dem Verordnungsvorschlag einen fundamentalen Grundstein für die Regulierung von KI in der EU gelegt. Er hat das Potential, die Entwicklung, das Inverkehrbringen und die Verwendung von einem großen Teil der KI-Systeme in der Union einer umfassenden und komplexen Regulierung zu unterwerfen. Dies gilt sowohl ganz allgemein als auch branchenspezifisch, beispielsweise im Bereich „Arbeit 4.0“ (siehe hierzu den Artikel „Die KI-Verordnung aus HR-Perspektive: Worauf müssen sich Personaler einstellen?“) oder „InsurTech“ (siehe hierzu den Artikel „Regulierung der Verwendung von Big Data und KI durch Versicherungsunternehmen“). Dementsprechend sieht sich der Vorschlag bereits im ersten Aufschlag teils scharfer Kritik beispielsweise der Industrieverbände ausgesetzt. Anderen hingegen geht der Entwurf nicht weit genug: Es wird beispielsweise bemängelt, dass deutlich zu wenige Anwendungen den Verbotene Praktiken im Bereich der Künstlichen Intelligenz unterfielen. Bis zum Erreichen eines endgültigen Rechtsrahmens steht der EU noch eine Mammutaufgabe bevor: Der Verordnungsentwurf muss im Gesetzgebungsverfahren nun durch das Europäische Parlament und weitere EU-Gremien, die er nicht ohne Änderungen und wahrscheinlich erst nach jahrelangem, zähem Ringen passieren dürfte.