Hochrisikosysteme: Gefahr erkannt – Gefahr gebannt?

Am 21. April 2021 hat die Europäische Kommission einen weitreichenden Verordnungsentwurf zur Regulierung von KI-Systemen (KI-Verordnung) veröffentlicht, der einen Rahmen für die Entwicklung und Verwendung von Künstlicher Intelligenz (KI) schaffen soll. Ziel ist es, die Entwicklung und den Einsatz von KI so zu regulieren, dass diese zukunftsträchtige Technologie im Einklang mit den Werten, Grundrechten und Prinzipien der Europäischen Union (EU) steht.  

Was genau sind KI-Systeme?

Ob beim autonomen Fahren oder beim Talent Recruiting mittels Chatbots: Künstliche Intelligenz wird zunehmend Teil unseres Alltags und unsere Zukunft maßgeblich beeinflussen. Hierbei stellt sich bereits die Frage, was KI eigentlich ist. Die EU-Kommission definiert zumindest ein „System der künstlichen Intelligenz“ (KI-System) als eine Software, die einerseits mit maschinellem Lernen, logik- und wissensgestützten Konzepten oder statistischen Ansätzen entwickelt wurde und andererseits im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren (Artikel 3 Nr. 1 KI-Verordnung). Diese Definition ist recht weit, was zwar einerseits Flexibilität mit Blick auf den rasanten technischen Fortschritt bei KI-Systemen ermöglicht, andererseits aber auch für Entwickler, Betreiber und Nutzer von KI-Systemen mit Rechtsunsicherheit verbunden sein wird.  

Risikobasierter Ansatz

Die KI-Verordnung verfolgt einen risikobasierten Ansatz: Je erheblicher die Risiken eines KI-Systems für die Gesundheit und Sicherheit oder die Grundrechte von Personen sind, desto strenger sind die regulatorischen Vorgaben. Besonders gefährliche KI-Systeme sollen sogar verboten werden (Artikel 5 KI-Verordnung). Daneben wird zwischen KI-Systemen mit minimalem, geringem oder hohem Risiko unterschieden. Maßgeblich letztere, die sogenannten „Hochrisiko-KI-Systeme“, stehen im Fokus des KI-Verordnung; mehr als die Hälfte der Vorschriften bezieht sich auf diese KI-Systeme.  

Einordnung als Hochrisiko-KI-System

Artikel 6 KI-Verordnung bestimmt, in welchen Fällen, ein Risiko für die Gesundheit und Sicherheit oder die Grundrechte von Personen so eklatant ist, dass das KI-System als „Hochrisiko-KI-System“ einzustufen ist.

• Nach Artikel 6 Abs. 1 KI-Verordnung zählen hierzu KI-Systeme, die als Sicherheitskomponente im Sinne von Artikel 3 Nr. 14 KI-Verordnung mit Konformitätsbewertung durch einen Dritten in einem EU-produktsicherheitsrelevanten Bereich eingesetzt werden (wie etwas Medizinprodukte, Spielzeug oder Verkehrsinfrastruktur).
• Nach Artikel 6 Abs. 2 KI-Verordnung sind auch KI-Systeme, die in Anhang III der KI-Verordnung genannt sind als „Hochrisiko-KI-Systeme“ einzustufen. In Anhang III nennt die Europäische Kommission Bereiche, in denen die Verwendung von KI-Systemen bereits dem Grunde nach – also durch den bloßen Einsatz – als hochriskant eingestuft werden. Um den technischen Fortschritt hierbei berücksichtigen zu können, hat sie die Option, die Auflistung in Anhang III regelmäßig zu ändern oder zu ergänzen (Artikel 7 KI-Verordnung). Aktuell listet Anhang III die folgenden Bereiche auf:

• Biometrische Identifizierung und Kategorisierung natürlicher Personen;
• Verwaltung und Betrieb kritischer Infrastrukturen;
• Allgemeine und berufliche Bildung;
• Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit;
• Zugänglichkeit und Inanspruchnahme grundlegender privater und öffentlicher Dienste und Leistungen;
• Strafverfolgung;
• Migration, Asyl und Grenzkontrolle;
• Rechtspflege und demokratische Prozesse.

Anforderungen an ein Hochrisiko-KI-System

Soll ein solches „Hochrisiko-KI-System“ eingesetzt werden, muss es vor allem die Anforderungen erfüllen:

• Einrichtung eines Risikomanagementsystems, das eine angemessene Risikobewertung und Risikominimierung oder -beseitigung gewährleistet (Artikel 9 KI-Verordnung);
• Sicherstellung der Datenqualität, vor allem durch geeignete Datengovernance- und Datenverwaltungsverfahren[1] (Artikel 10 KI-Verordnung);
• Technische Dokumentation über das „Hochrisiko-KI-System“ (Artikel 11 KI-Verordnung);
• Automatische Protokollierung von Vorgängen und Ereignissen im „Hochrisiko-KI-System“ (Artikel 12 KI-Verordnung);
• Erfüllung von Transparenz- und Bereitstellungspflichten gegenüber den Nutzern (Artikel 13 KI-Verordnung);
• Pflicht, das „Hochrisiko-KI-System“ so zu entwickeln, dass eine menschliche, wirksame Aufsicht für die Dauer der Verwendung gewährleistet ist (Artikel 14 KI-Verordnung);
• Einhaltung eines angemessenen Maßes an Robustheit, Sicherheit und Genauigkeit des jeweiligen „Hochrisiko-KI-Systems“ (Artikel 15 KI-Verordnung).

Die Sicherstellung dieser in Artikel 9 bis 15 KI-Verordnung genannten Anforderungen obliegt dem Anbieter (Artikel 16 lit. a KI-Verordnung). Als Anbieter gilt jede natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System entwickelt oder entwickeln lässt, um es unter ihrem eigenen Namen oder ihrer eigenen Marke – entgeltlich oder unentgeltlich – in Verkehr zu bringen oder in Betrieb zu nehmen (Artikel 3 Nr. 2 KI-Verordnung). Er soll hierbei der KI-Verordnung unterliegen, wenn er das KI-System in der EU in Verkehr bringt oder in Betrieb nimmt, unabhängig davon, ob diese Anbieter in der EU oder in einem Drittland niedergelassen sind (Art. 2 Nr. 1 a KI-Verordnung). Damit gilt für die KI-Verordnung – ebenso wie bei der Datenschutz-Grundverordnung – das Marktortprinzip. Doch nicht nur der Anbieter soll in Zukunft durch die KI-Verordnung verpflichtet werden. Artikel 16 bis 29 KI-Verordnung bestimmen weitere Verhaltensregeln für Nutzer und andere Akteure entlang der Wertschöpfungskette, beispielsweise für Einführer oder Händler. So gilt beispielsweise nach Artikel 24 KI-Verordnung für den Produkthersteller, dass, soweit das KI-System unter seinen Namen in den Verkehr gebracht wird, ihn dieselben Pflichten treffen wie den Anbieter. Auch der Nutzer von „Hochrisiko-KI-Systemen“ wird verpflichtet, diese gemäß der Gebrauchsanweisung zu bedienen (Artikel 29 KI-Verordnung). Händler oder Importeure von „Hochrisiko-KI-Systemen“ müssen sicherzustellen, dass für das „Hochrisiko-KI-System“ im Vorfeld erfolgreich entsprechende Konformitätsverfahren durchgeführt worden sind (Artikel 26 und 27 KI-Verordnung).  

Haftung

Artikel 71 Abs. 1 KI-Verordnung sieht die Aufgabe bei den Mitgliedstaaten, Vorschriften für Sanktionen, beispielsweise in Form von Geldbußen, zu erlassen, die bei Verstößen gegen die KI-Verordnung Anwendung finden. Die vorgesehenen Sanktionen sollen wirksam, verhältnismäßig und abschreckend sein, zugleich aber auch die Interessen von Kleinanbietern und Startups sowie deren wirtschaftliches Überleben berücksichtigen. Zugleich gibt die KI-Verordnung aber einen groben Rahmen vor. Demnach sollen Verstöße gegen die KI-Verordnung mit einem Bußgeld geahndet werden können, was in besonders schweren Fällen bis zu 30 Millionen Euro oder 6 Prozent des weltweiten Jahresumsatzes des Unternehmens betragen kann.[2]

EU-Datenbank

Zuletzt sieht Artikel 60 Abs. 1 KI-Verordnung vor, dass die Europäische Kommission in Zusammenarbeit mit den Mitgliedstaaten eine EU-Datenbank errichtet und pflegt, in der eigenständige „Hochrisiko-KI-Systeme“ gemäß Artikel 6 Abs. 2 KI-Verordnung gelistet sind. Hierdurch soll es der Europäischen Kommission als auch den nationalen Behörden der Mitgliedstaaten erleichtert werden, vor allem ihren nachzukommen (vgl. u.a. Artikel 63 bis 68 KI-Verordnung).  

Fazit

Bis zum Inkrafttreten der KI-Verordnung wird erfahrungsgemäß noch einige Zeit ins Land gehen. Doch bereits durch den Entwurf bezieht die EU eine klare Stellung und insoweit eine Vorreiterrolle: Technischer Fortschritt darf nicht zulasten des Menschen gehen. Unternehmen, die zukünftig (weiterhin) KI, vor allem in „Hochrisiko-KI-Systemen“, einsetzen wollen, müssen sich intensiv mit diesen KI-Systemen beschäftigen. Erst wenn sie das KI-System verstehen, können sie die regulatorischen Anforderungen umsetzen. Auch Hersteller und andere Akteure können sich nicht mehr so einfach ihrer Verantwortung entledigen. Wie beim Datenschutz oder anderen Compliance-Themen gilt: Zunächst eine Bestandsaufnahme machen und dann identifizieren, welche Maßnahmen noch umzusetzen sind, um einen Verstoß gegen die KI-Verordnung zu vermeiden.

[1]Daten-Governance in der KI-Verordnung – im Konflikt mit der DSGVO?

[2] Bußgelder nach der KI-Verordnung – Ein Fass ohne Boden?