Die KI-Verordnung – Einbettung im allgemeinen Produktsicherheitsrecht

Co-Autor: Tim-Jonas Löbeth 

Die KI-Verordnung ist zum 1. August 2024 in Kraft getreten. Mit ihr wurde die Grundlage für die Regulierung von künstlicher Intelligenz in der EU geschaffen. Obgleich sie auf viele noch neu wirken mag, ist es ihr Regulierungskonzept nicht. Vielmehr setzt die EU darauf, das aus dem Produktsicherheitsrecht bewährte Modell des New Legislative Frameworks (NLF) auf KI auszuweiten.
Der Hintergrund ist einfach: Die CE-Normen müssen ineinandergreifen. Für eine CE-Konformität müssen neben der KI-Verordnung auch die anderen CE-Normen eingehalten werden.

Der AI-Act als Weiterentwicklung des New Legislative Frameworks

Der im Jahr 2008 verabschiedete „Neue Rechtsrahmen“ (New Legislative Framework - NLF) bildet den Rahmen für eine harmonisierte und zeitgemäße Regulierung der Produktsicherheit in der EU.

Ursprünglich beschränkte sich der Regulierungsrahmen ausschließlich auf körperliche und bewegliche Gegenstände. Insbesondere war Software vom NLF lange nicht erfasst. Begleitet von der jüngsten Reform der Produkthaftungsrichtlinie (RL 85/374/EWG) hat die EU dies geändert. Gegenstand des AI-Acts sind „KI-Systeme”, welche losgelöst von einer Körperlichkeit sind. Sie können aber Teil eines Produkts sein. Die Definition des KI-Systems orientiert sich an der OECD-Definition und beschreibt ein KI-System als ein „maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können“.

Persönlicher Anwendungsbereich

Der Konzipierung des NLF lag die Annahme zu Grunde, dass sich die in diesem Rahmen erlassenen Vorschriften ausschließlich auf bewegliche und körperliche Gegenstände beziehen würden. Da diese Grundannahme nunmehr geändert wird, ist es erforderlich, das ein oder andere bekannte Prinzip des NLF anzupassen. Spürbar wird dies vor allem beim persönlichen Anwendungsbereich.

Hersteller vs. Anbieter

Eine zentrale Anpassung findet sich in Art. 2 Abs. 1 AI-Act. Verpflichtet wird nach dieser Norm der „Anbieter“ von KI-Systemen. Anders als beim NLF ist hier nicht die Rede vom „Hersteller“. Als Anbieter definiert der Verordnungsgeber in Art. 3 Nr. 3 AI-Act jede „natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System […] entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer eigenen Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich.“ Diese Begriffsbestimmung bietet gleich in mehrfacher Hinsicht Anlass zur Kritik.

Zu beachten ist beim „Anbieter“, dass diesen bereits Pflichten vor Inverkehrbringen oder Inbetriebnahme seines Systems treffen. So ist der Anbieter eines Hochrisiko-KI-Systems beispielsweise gehalten, sich vor Inverkehrbringen oder Inbetriebnahme seines Systems gemäß Art. 49 Abs. 1 AI-Act in einer EU-Datenbank zu registrieren.

Nutzer

Eine Besonderheit im AI-Act stellt die Rolle des Nutzers dar. Ihm kommt – anders als unter dem NLF – eine Doppelfunktion zu. Einerseits ist er Schutzsubjekt unter der neuen Verordnung, andererseits aber auch Pflichtenträger. Was zunächst ambivalent erscheinen mag, trägt bei genauerem Hinsehen dem Umstand Rechnung, dass sich die von KI ausgehenden Gefahren nicht nur durch das Bereitstellen, sondern vor allem durch das Benutzen entsprechender Systeme realisieren. Folgerichtig verbietet Art. 5 AI-Act nicht nur das Inverkehrbringen und das Inbetriebnehmen gewisser Systeme, sondern auch deren Verwendung. Einschränkend ist jedoch zu erwähnen, dass die EU der KI-Verordnung ein eng gefasstes Begriffsverständnis im Hinblick auf die Rechtsfigur des Nutzers zu Grunde legt. Nach der in Art. 3 Nr. 4 KI-Verordnung enthaltenen Definition wird zwar zunächst vermutet, dass jede natürliche oder juristische Person, die ein KI-System in eigener Verantwortung verwendet, Nutzer im Sinne der KI-Verordnung ist. Ausgenommen davon sind aber Personen, die das KI-System im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwenden. Darunter dürften in aller erster Linie Verbraucher fallen. Handelt ein Nutzer dem zuwider, muss er gemäß Art. 99 Abs. 3 AI-Act mit einem Bußgeld von bis zu EUR 35 Mio. rechnen. Handelt es sich bei dem verboten handelnden Nutzer um ein Unternehmen, kann diesem auch ein höheres Bußgeld auferlegt werden, und zwar dann, wenn 7% des gesamten weltweiten Jahresumsatzes im vorausgegangenen Geschäftsjahr den eigentlichen Bußgeldrahmen übersteigen.  

Pflichten vor oder bei Inverkehrbringen

Die Bereitstellung als zeitlicher Anknüpfungspunkt

Nach dem AI-Act kommt es für den zeitlichen Anknüpfungspunkt der Pflichten entscheidend auf den Zeitpunkt „Bereitstellen“ auf dem Markt und das „Inverkehrbringen“ als erstmaliges Bereitstellen an.

Da der Begriff des Bereitstellens auf dem Markt Kernelement des NLF ist, kann auf die Diskussionen und Entwicklungen bei der Auslegung der Begriffe im Rahmen der anderen CE-Normen, wie der Maschinenverordnung, sowie der neuen Fassung des Blue-Guide (Leitfaden für die Umsetzung der Produktvorschriften der EU 2022 - 2022/C 247/01) zurückgegriffen werden.

Aus diesem Grund können die Diskussionen darüber abgekürzt werden, ob die Verschaffung der Verfügungsgewalt erforderlich ist, oder nicht. Denn spätestens seit der neuen Fassung des Blue-Guide gilt, dass für ein Bereitstellen auf dem Unionsmarkt keine körperliche Übergabe oder die Verschaffung der Verfügungsgewalt erforderlich ist. Vielmehr gilt:
„Die Bereitstellung eines Produkts setzt ein Angebot oder eine (schriftliche oder mündliche) Vereinbarung zwischen zwei oder mehr juristischen oder natürlichen Personen in Bezug auf die Übertragung des Eigentums, des Besitzes oder sonstiger Rechte hinsichtlich des betreffenden Produkts nach dessen Herstellung voraus, was nicht zwingend die physische Übergabe des Produkts erfordert.“ (Blueguide der Kommission Ziff. 2.2)

Und sofern das KI-System über den Fernabsatz oder Online-Verkauf bereitgestellt wird (was bei KI-Systemen häufig der Fall ist), gilt das Produkt schon als auf dem Markt bereitgestellt, wenn sich das Angebot an Endnutzer in der Union richtet. (Blueguide der Kommission Ziff. 2.4).
Ausreichend kann bereits eine Tätigkeit sein, die in irgendeiner Art und Weise auf einen Mitgliedstaat gerichtet ist, was zu einer erheblichen zeitlichen Vorverlagerung und räumlichen Ausdehnung der Anwendung des AI-Act führt.

Lediglich beim Begriff der „Inbetriebnahme“ weicht der AI-Act vom NLF am. Nach dem Blue-Guide (Ziff. 2.6) liegt eine Inbetriebnahme bei „erstmaliger bestimmungsgemäßer Verwendung“ vor. Demgegenüber ist ein KI-System unter dem AI-Act in Betrieb genommen, wenn es durch den Anbieter in der Union zum Erstgebrauch dem Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung bereitgestellt wird.

Durchführung eines Konformitätsbewertungsverfahrens

Grundsätzlich haben die Anbieter sicherzustellen, dass das von ihnen bereitgestellte System einem Konformitätsbewertungsverfahren unterzogen wird. Für das Hochrisiko-KI-System ist das etwa in Art. 16 lit. f AI-Act geregelt. Damit lässt der Verordnungsgeber dem Anbieter die Wahl, ob er das Bewertungsverfahren selbst durchführt oder es durch Dritte durchführen lässt. Eine Ausnahme von diesem Grundsatz gilt für Hochrisiko-KI-Systeme, die bestimmungsgemäß für die biometrische Echtzeit-Fernidentifizierung oder für die nachträgliche biometrische Fernidentifizierung natürlicher Personen verwendet werden sollen. Das Konformitätsbewertungsverfahren für diese Systeme richtet sich gemäß Art. 43 Abs. 1 AI-Act nach den verschärften Anforderungen aus den Anhängen VI oder VII. Nachgelagerte Akteure in der Vertriebskette, allen voran Importeure und Händler, sind nach der Verordnung nicht verpflichtet, die Durchführung eines Konformitätsbewertungsverfahrens über das von ihnen eingeführte bzw. gehandelte Produkt sicherzustellen. Ihnen ist es lediglich verboten, Systeme, die keinem Konformitätsbewertungsverfahren unterzogen wurden, in Verkehr zu bringen bzw. in Betrieb zu nehmen. Vertraglich aber bleibt es den Anbietern selbstredend unbenommen, den Importeur oder Händler mit der Durchführung des Konformitätsbewertungsverfahrens für sich selbst zu beauftragen.

Händler, Importeure, Aufsteller oder sonstige Dritte können als Anbieter eines KI-Systems gelten, wenn sie ihren Namen oder ihre Marke auf dem System anbringen, sie eine wesentliche Änderung an einem bereits in Verkehr gebrachten oder in Betrieb genommenen System vornehmen oder sie den Verwendungszweck eines Systems ändern. Auf das tatsächliche Anbieten kommt es dafür nicht an, denn die Anbietereigenschaft des Dritten wird in diesen Fällen fingiert („gilt als“). Zu beachten ist dabei insbesondere, dass der Händler, Importeur, Aufsteller oder sonstige Dritte nicht als weiterer Pflichtenträger neben den eigentlichen Anbieter tritt, sondern diesen sogar als Primärverantwortlichen ablöst. Dies ist in Art. 25 Abs. 1 Satz 1 AI-Act ausdrücklich angeordnet. Nach dieser Vorschrift verliert ein Anbieter seine Eigenschaft als Anbieter nach dem AI-Act, wenn der Händler, Importeur, Aufsteller oder sonstige Dritte als Anbieter anzusehen ist. Gerade Händler, Importeure, Aufsteller oder sonstige Dritte müssen daher in der Gestaltung von Vertragsbeziehungen zum eigentlichen Anbieter des KI-Systems wachsam sein.

Anbringung des CE-Kennzeichens bei digitalen Produkten

Der Anbieter eines Hochrisiko-KI-Systems hat gemäß Art. 16 lit. b AI-Act durch Anbringung einer CE-Kennzeichnung grundsätzlich zu bestätigen, dass er die Verantwortung für die Konformität des Produkts mit allen dazu einschlägigen EU-Vorschriften übernimmt. Art. 48 Abs. 1 AI-Act verweist dazu auf Art. 30 der AkkreditierungsVO. Genau genommen können diese Vorschriften allenfalls „entsprechend“ Anwendung finden. Denn nach Art. 30 Abs. 1 AkkreditierungsVO ist es nur dem Hersteller oder seinem Bevollmächtigten erlaubt, eine CE-Kennzeichnung auf dem Produkt anzubringen. Der Herstellerbegriff ist dem AI-Act jedoch fremd. Primäres Verpflichtungssubjekt ist der Anbieter. Sofern das KI-System Teil eines körperlichen Gegenstands ist, etwa indem es in einem Produkt verbaut ist, gibt es hinsichtlich der Anbringung der CE-Kennzeichnung nichts Neues zu beachten.

Anders verhält es sich hingegen bei rein digital bereitgestellten Systemen. Dazu heißt es in Art. 48 Abs. 2 AI-Act: „Bei digital bereitgestellten Hochrisiko-KI-Systemen wird eine digitale CE-Kennzeichnung nur dann verwendet, wenn sie über die Schnittstelle, von der aus auf dieses System zugegriffen wird, oder über einen leicht zugänglichen maschinenlesbaren Code oder andere elektronische Mittel leicht zugänglich ist.“ Diese Vorschrift hat zur Konsequenz, dass ein Hochrisiko-KI-System unter bestimmten Voraussetzungen, auch ohne Anbringung einer CE-Kennzeichnung, innerhalb der EU in Verkehr gebracht bzw. in Betrieb genommen werden darf. Damit übereinstimmend besagt Erwägungsgrund 129, dass bei Hochrisiko-KI-Systemen, die nur digital bereitgestellt werden, eine digitale CE-Kennzeichnung verwendet werden „sollte“.

Sollte die CE-Kennzeichnung bei rein digital bereitgestellten Systemen erforderlich sein, muss sie „gut sichtbar, leserlich und dauerhaft“ angebracht sein. Welche Anforderungen an die Dauerhaftigkeit und die gute Sichtbarkeit und Leserlichkeit zu stellen sind, wird noch zu konkretisieren sein. In diesem Zusammenhang stellen sich im Einzelfall zahlreiche Fragen: Welche Größe muss das CE-Kennzeichnen haben? Wo ist es idealerweise auf einer Website oder im System positioniert? Muss es bei einem System im System selbst dargestellt werden oder reicht es, wenn das Kennzeichen auf der Website, über die der Download erfolgt, abgebildet ist? Genügt es im Front End eines Systems, die CE-Kennzeichnung nur auf einer Unterseite darzustellen, auf die der Nutzer durch wenige Klicks gelangt, oder muss die Kennzeichnung für den Nutzer stets sichtbar sein und daher beispielsweise in einem in das System integrierten Footer oder Banner dargestellt werden?

Pflichten nach Inverkehrbringen und Inbetriebnahme

Produktüberwachung an der Schnittstelle zwischen Mensch und Maschine

Der Anbieter ist gemäß Art. 72 Abs. 1 AI-Act verpflichtet, das System nach Inverkehrbringen weiter zu überwachen und diese Überwachung zu dokumentieren. Welche Anforderungen im Einzelnen an die Überwachungs-möglichkeiten zu stellen sind, werden die Gerichte näher zu konkretisieren haben. Jedenfalls muss aber – gerade bei generativen KI-Systemen – sichergestellt sein, dass diese sich nicht selbständig der Überwachung entziehen können und der Anbieter auch die Möglichkeiten nach Art. 20 Abs. 1 AI-Act behält, er also insbesondere das System jederzeit außer Betrieb setzen kann. Insofern muss der Anbieter – anders als der Hersteller unter dem NLF bei seinem Produkt – eine Zugriffsmöglichkeit auf das von ihm bereitgestellte System behalten.

Erforderlichkeit eines neuen Konformitätsbewertungsverfahrens

Bestimmte KI-Systeme müssen vor Inverkehrbringen bzw. Inbetriebnahme einem Konformitätsbewertungsverfahren unterzogen werden. Gemäß Art. 43 Abs. 4 Satz 1 AI-Act ist für Hochrisiko-KI-Systeme, die bereits ein Konformitäts-bewertungsverfahren durchlaufen haben, „im Falle einer wesentlichen Änderung“ ein erneutes Verfahren durchzuführen. Wann eine wesentliche Änderung anzunehmen ist, ergibt sich weder aus der Vorschrift selbst noch aus den dazugehörigen Erwägungsgründen.

Hier wird man jedoch wieder auf die bisherigen Entwicklungen und Erkenntnisse aus dem NLF abstellen können. Nach dem Blue Guide liegt eine wesentliche Veränderung insbesondere dann vor, wenn am Produkt (oder hier dem KI-System) i) seine ursprüngliche Leistung, Verwendung oder Bauart geändert wurde, ohne dass dies bei der ursprünglichen Risikobewertung vorgesehen war, oder ii) sich durch die Änderung die Art der Gefahr geändert oder das Risikoniveau erhöht hat.

Problematisch dürfte dies in der Praxis vor allem im Hinblick auf generative KI-Systeme werden. Diese Systeme zeichnen sich dadurch aus, dass sie neue Inhalte erzeugen und ihren Anwendungsmöglichkeiten damit kaum Grenzen gesetzt sind. Generative KI-Systeme basieren auf dem Machine Learning, das heißt, sie entwickeln sich anhand von Daten – ohne dass es einer neuen Programmierung durch einen Menschen bedürfte – selbständig weiter. Das dahinterstehende System ändert sich somit stetig. In der Praxis wäre es realitätsfern, bei jeder kleinsten Änderung des Systems gleich ein neues Konformitätsbewertungsverfahren durchzuführen. Dass das Erfordernis einer erneuten Durchführung des Bewertungsverfahrens nur bei „wesentlichen“ Änderungen greift, ist vor diesem Hintergrund durchaus nachvollziehbar.
Für jeden Einzelfall muss aber gesondert entschieden werden, ab welchem Stadium sich das System so sehr weiterentwickelt hat, dass von einer „wesentlichen Änderung“ ausgegangen werden kann. Speziell bei Hochrisiko-KI-Systemen könnte man annehmen, dass eine wesentliche Änderung jedenfalls dann vorliegt, wenn sich der Bezugspunkt, auf Grund dessen das System als risikoreich eingestuft wurde, ändert. Zu beachten ist in diesem Zusammenhang insbesondere Anhang III des AI-Acts. War ein System beispielsweise deshalb hochriskant, weil es biometrische Daten erfasst, so wird ein neues Konformitätsbewertungsverfahren wohl erforderlich sein, wenn das System später zusätzlich im Bereich der kritischen Infrastruktur eingesetzt werden soll. Nicht in allen Fällen wird man aber allein auf die Zweckbestimmung des einzelnen Systems abstellen können, weil generative KI-Systeme – wie etwa ChatGPT – oftmals nicht für einen bestimmten Anwendungsbereich konzipiert werden, sondern sie vielseitig einsetzbar sind.

Korrekturmaßnahmen zur Risikoabwehr

Anbieter von Hochrisiko-KI-Systemen, die der Auffassung sind, dass das von ihnen bereitgestellte System nicht (mehr) den Anforderungen des AI-Acts entspricht, sind nach Art. 16 lit. j AI-Act in Verbindung mit Art. 20 Abs. 1 Satz 1 AI-Act verpflichtet, „unverzüglich die erforderlichen Korrekturmaßnahmen“ zu ergreifen und das System nötigenfalls zurückzunehmen, es außer Betrieb zu setzen oder es zurückzurufen, soweit dies angemessen ist. Daraus folgt für die Praxis, dass sich die Anbieter gerade bei rein digital bereitgestellten Systemen – auch bei solchen, die zum Download im Internet angeboten werden – eine Zugriffsmöglichkeit bewahren müssen. Es ist mangels anderslautender Bestimmung davon auszugehen, dass der Anbieter bei diesen Korrekturmaßnahmen nicht auf die Mitwirkung des Nutzers angewiesen sein darf. Technisch muss es dem Anbieter demnach möglich bleiben, das System abzuschalten oder es etwa zu aktualisieren. Die Möglichkeit, Systemaktualisierungen vorzunehmen, wird in einigen Fällen mit den neu in das BGB eingeführten Updatepflichten korrespondieren. Gerade bei sicherheitsrelevanten Updates, die zur (weiteren) Konformität des Systems mit den EU-Vorschriften erforderlich sind, wird es aber aus produktsicherheitsrechtlicher Sicht vermutlich nicht genügen, dem Nutzer das Update einfach nur bereitzustellen. Vielmehr muss in diesen Fällen gewährleistet sein, dass das Update automatisch – nötigenfalls über einen Fernzugriff auf das System – aufgespielt wird. In der Gestaltung der Vertragsbeziehung zwischen Anbieter und Nutzer sollte dieser Umstand berücksichtigt werden.

Fazit

Die KI-Regulierung der EU folgt in ihren wesentlichen Grundzügen den bereits bekannten und bewährten Prinzipien des Produktsicherheitsrechts. Die Regulierung ist daher mit weniger Neuerungen verbunden, als es viele vermuten.

Siehe dazu auch: KI & CE – Die KI-VO, das Produktsicherheitsrecht für Künstliche Intelligenz