CE-Zeichen für KI-Systeme - Ausweitung des Produktsicherheitsrechts auf künstliche Intelligenz

Was für klassische Produkte mit Gefahrenpotential selbstverständlich ist, nämlich, dass die EU gewisse Vorgaben an die Sicherheit dieser Produkte macht, wird in Zukunft auch auf KI-Produkte angewendet. Der Kommissionsvorschlag für die KI-Verordnung sieht unter anderem vor, dass potentiell risikoträchtige Systeme der künstlichen Intelligenz (KI-Systeme) ebenfalls ein CE-Zeichen tragen müssen. Dadurch wurde der bewährte Ansatz des Produktsicherheitsrechts auch auf KI-Systeme übertragen, dessen Ziel es zum einen ist, den freien Warenverkehr im Binnenmarkt zu unterstützen, indem einheitliche Anforderungen festgelegt werden, und zum anderen hohe Sicherheitsstandards zu setzen. Man setzt hierbei auf die Eigenverantwortung der Anbieter, die selber die Konformität ihrer Systeme bewerten und sicherstellen müssen. Dies soll ihnen Gleichzeitig den notwendigen Freiraum geben, Innovationen und neue Technologien zu schaffen.  

Abgestufter Ansatz

Die Kommission verfolgt in dem Entwurf einen abgestuften Ansatz, der sich an den möglichen Gefahren für die Werte der EU und der Grundrechte orientiert:

• Systeme mit unannehmbaren Risiko sind verboten;
• Systeme mit hohem Risiko unterliegen starken regulatorischen Vorgaben;
• Systemen mit geringem Risiko werden besonderen Transparenzpflichten unterworfen;
• Sonstige Systeme sind – unter Einhaltung der allgemeinen Gesetze – zulässig;

Besonders gefährliche KI-Systeme - Verboten

Bestimmte Systeme sollen von vornherein unzulässig sein, da sie aus Sicht der Kommission zu gefährlich für die geschützten Rechtsgüter seien. Dazu gehören unter anderem KI-Systeme, die menschliches Verhalten manipulieren, um den freien Willen der Nutzer zu umgehen, Systeme, die die Schwäche oder Schutzbedürftigkeit einer Gruppe von Personen ausnutzt, sowie Systeme, die den Behörden eine Bewertung des sozialen Verhaltens (Social Scoring) ermöglichen. .

Hochrisiko KI-Systeme

KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen hat die Kommission besonderen Restriktionen unterzogen. Diese sog. Hochrisiko-KI-Systeme dürfen in der EU nur dann in Verkehr gebracht werden, wenn sie bestimmte Anforderungen erfüllen.  

Wann liegt ein Hochrisiko-KI vor?

Ob ein KI-System ein sog. Hochrisiko-KI-System ist, hängt nicht von dessen Ausgestaltung, sondern von dessen Zweckbestimmung ab. Entscheidend für die Einstufung sind daher primär der Zweck und die Anwendungsmodalitäten des Systems. Hierfür gibt es zwei Kriterien:

• Zum einen gelten KI-Systeme als Hochrisiko-Systeme, die als Sicherheitskomponenten von Produkten verwendet werden sollen, die unter eine der in Anhang II der KI-Verordnung genannten CE-Normen fallen (darunter MaschinenRL, SpielzeugRL, etc.) und zudem einer Vorabkonformitätsbewertung durch Dritte unterliegen.
• Zum anderen sind auch solche eigenständigen KI-Systemen Hochrisiko-KI-Systeme, die ausdrücklich in Anhang III zur KI-Verordnung genannt werden. In Anhang III werden solche Systeme genannt, die aus Sicht der Kommission besonders wahrscheinlich ist, dass ein Eingriff in Sicherheit, Gesundheit und Grundrechte stattfindet. Das ist KI bspw. der Fall in den Bereichen biometrische Identifizierung und Kategorisierung natürlicher Personen, Verwaltung und Betrieb kritischer Infrastrukturen, allgemeine und berufliche Bildung, Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit, Kredite und Notfalldienste, etc. Das ist ein sehr weites Feld und die Kommission behält sich vor, Anhang III zu ergänzen, womit die Kommission auch sicherstellen wollte, dass die Kategorisierung mit weiteren Entwicklungen standhalten wird.

Der Gedanke, dass es auf die Zweckbestimmung ankommt, ist nicht neu und bereits fest im Produktsicherheitsrecht verankert. Dennoch gibt es Kritik am Ansatz der Kommission, denn dadurch kann ein und dasselbe Produkt je nach Einzelfall „nur“ KI sein oder auch Hochrisiko-KI. Der Anbieter (aber auch der Nutzer) trägt das Risiko der korrekten Einordnung und da die Strafen bei einem Verstoß empfindlich sind – hierzu gehören u.a. hohe Bußgelder und Vertriebsverbote – sind die Sorgen nachvollziehbar.  

Welche qualitative Anforderungen an Hochrisiko-KI-Systeme bestehen?

Hochrisiko-KI-System müssen den Anforderungen der Art. 8-15 KI-Verordnung entsprechen, in denen spezifische Anforderungen festgelegt werden. Dazu zählen:

• Es muss ein Risikomanagement System eingerichtet, angewandt, dokumentiert und aufrechterhalten werden.
• Trainings-, Validierungs- und Testdatensätze müssen bestimmte qualitative Anforderungen erfüllen.
• Die technische Dokumentation muss erstellt werden.
• Die Systeme müssen eine automatische Protokollierung
• Es gibt Transparenz- und Informationsanforderungen.
• Die Systeme müssen eine Beaufsichtigung durch natürliche Personen ermöglichen. Im besonders sensiblen Bereich der biometrischen Identifizierung und Kategorisierung natürlicher Personen gehen die Anforderungen noch weiter.
• Schließlich müssen die Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und es muss sichergestellt sein, dass die Systeme in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren.

Wann darf ein KI-System in der Union in Verkehr gebracht werden?

Durch den von der Kommission aus dem Bereich der funktionalen Sicherheit herangezogene Zertifizierungs-Ansatz durch Produktprüfung und CE-Zeichen, müssen Anbieter, möchten sie ein Hochrisiko-KI-System in Verkehr bringen, dieses nach einheitlichen EU-Standards und im Rahmen einer internen Kontrolle einer Konformitätsbewertung unterziehen und das „Produkt“ zertifizieren. Damit liegt die Kontrolle also in den Händen der Anbieter selbst. Kernelement ist hierbei das Konformitätsbewertungsverfahren, für des der Anbieter grundsätzlich selbst verantwortlich ist. Das wesentliche Ziel eines Konformitätsbewertungsverfahrens besteht in dem Nachweis, dass das in Verkehr gebrachte System den (insbesondere qualitativen Anforderungen der KI-Verordnung entspricht. Hierbei ist zwischen zwei Verfahren zu unterscheiden:

• Grundsätzlich ist in Konformitätsbewertungsverfahren der internen Kontrolle durchzuführen, ohne Dritten mit einzubeziehen.
• Bei KI-Systemen zur biometrischen Identifikation und Kategorisierung hat der Anbieter dagegen eine notifizierte Stelle einzubeziehen.

Nach erfolgreicher Konformitätsbewertung, sind die Hochrisiko-KI-Systeme in eine von der Kommission verwaltete EU-Datenbank einzutragen, um so die Transparenz gegenüber der Öffentlichkeit zu erhöhen und die Aufsicht sowie die Ex-post-Überwachung durch die zuständigen Behörden zu stärken. Ferner ist die Konformitätserklärung durch den Anbieter zu erstellen. Um nach außen kenntlich zu machen, dass die Anforderungen erfüllt werden, hat der Anbieter das bekannte CE-Zeichen anzubringen.

Systemen mit geringem Risiko

Für Systeme mit geringem Risiko sieht die KI-Verordnung bestimmte Transparenzpflichten vor, die im Übrigen aber auch bei Hochrisiko-KI-Systemen einzuhalten sind:

• KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, müssen diesen mitteilen, dass sie es mit einem KI-System zu tun haben, außer dies ist aufgrund der Umstände und des Kontexts der Nutzung offensichtlich.
• Wer ein Emotionserkennungssystem oder ein System zur biometrischen Kategorisierung verwendet, hat die davon betroffenen natürlichen Personen über den Betrieb des Systems zu informieren.
• Nutzer eines KI-Systems, das sog. Deepfakes erzeugt, also Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert, die wirklichen Personen, Gegenständen, Orten oder anderen Einrichtungen oder Ereignissen merklich ähneln und einer Person fälschlicherweise als echt oder wahrhaftig erscheinen würden, müssen offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden.

Im letzteren Fall gibt es Ausnahmen, wenn die Technik für die Ausübung der Meinungsfreiheit und Freiheit der Kunst und Wissenschaft erforderlich ist, gleichzeitig aber geeignete Schutzvorkehrungen für die Rechte und Freiheiten Dritter bestehen. In allen drei Fällen sind Ausnahmen für Systeme zur Aufdeckung, Verhütung, Ermittlung und Verfolgung von Straftaten vorgesehen.  

Systeme mit minimalem Risiko

Systeme mit minimalem Risiko können weitgehend ohne Beschränkungen (im Rahmen des sonstigen Rechts) verwendet werden. Die große Mehrheit der KI-Systeme wird wohl unter diese Kategorie fallen

Wechselwirkung zwischen der KI-Verordnung und den sonstigen CE-Normen

Erklärtes Ziel der Kommission ist, dass die CE-Normen parallel laufen und sich ergänzen, denn Produkte fallen häufig in den Anwendungsbereich gleich mehrerer CE-Normen. Dieser Ansatz spiegelt sich voll und ganz in der Wechselwirkung zwischen der KI-Verordnung und der Maschinenrichtlinie (bzw. künftig Maschinen-VO) wider. Bei den Anforderungen in der KI-Verordnung geht es um die Sicherheitsrisiken, die von KI-Systemen ausgehen, die Sicherheitsfunktionen in Maschinen steuern, wogegen bestimmte spezifische Anforderungen der Maschinenrichtlinie gewährleisten werden, dass ein KI-System auf sichere Weise in die gesamte Maschine integriert wird, damit die Sicherheit der Maschine insgesamt nicht beeinträchtigt wird. Um die Verantworten abzugrenzen legt Art. 24 der KI-Verordnung fest, dass wenn ein Hochrisiko-KI-System für Produkte, die unter die in Anhang II CE-Normen fallen, zusammen mit dem gemäß diesen Rechtsvorschriften hergestellten Produkt unter dem Namen des Produktherstellers in Verkehr gebracht oder in Betrieb genommen, hat der Hersteller des Produkts die Verantwortung für die Konformität des KI-Systems zu übernehmen und unterliegt in Bezug auf das KI-System denselben Pflichten, wie ein Anbieter unter der KI-Verordnung.  

Ausblick

Der sektorspezifische und zweckgerichtete Ansatz der Verordnung, mit den anderen CE-Normen einen einheitlichen Rechtsrahmen zu schaffen ist zu begrüßen, wenngleich nun auch für diesen Bereich die Anbieter dem bekannten Risiko unterworfen sind, die KI-Systeme richtig einzuordnen. Nun muss der Vorschlag der Kommission vom Europäischen Parlament und von den Mitgliedstaaten im ordentlichen Gesetzgebungsverfahren noch angenommen werden. Sobald die Verordnung verabschiedet ist, wird sie unmittelbar in der gesamten EU gelten.