KI-Verordnung: Hochrisiko-KI-Systeme – was gilt, was ist bis wann umzusetzen?

Mit der KI-Verordnung hat die EU eine wesentliche Grundlage für die Regulierung von Künstlicher Intelligenz (KI) geschaffen. Seit dem 1. August 2024 ist sie in Kraft. Die KI-Verordnung verfolgt einen risikobasierten Ansatz. 

Das bedeutet, dass die gesetzlichen Anforderungen, die an KI-Anwendungen gestellt werden, mit dem jeweiligen Risiko der KI-Anwendung steigen. Es verwundert daher nicht, dass sich die meisten Regelungen in der KI-Verordnung den sog. „Hochrisiko KI Systemen“ widmen. Doch was verbirgt sich hinter dem Begriff „Hochrisiko-KI-System“? Und wie werden „Hochrisiko-KI-Systeme“ künftig reguliert? Ein Überblick von Mareike Christine Gehrmann und Dr. Anne Förster.

Risikoklassen

Die KI-Verordnung definiert keinen allumfassenden Rechtsrahmen für KI, sondern verfolgt einen horizontalen, risikobasierten Ansatz, der sich primär auf Produktsicherheitsaspekte für KI-Systeme und KI-Modelle/-Systeme mit allgemeinem Verwendungszweck (Allzweck-KI) konzentriert. Besonderes Augenmerk liegt auf KI-Anwendungen, die aufgrund ihres Risikopotenzials für Grundrechte und sensible Rechtsgüter strengeren Regulierungen unterliegen. Hierzu gehören vor allem Hochrisiko-KI-Systeme.

Die KI-Verordnung legt keine formalen Risikoklassen fest. Faktisch lassen sich jedoch folgende Kategorien ableiten, anhand derer sich die verschiedenen Regulierungsansätze besser verstehen lassen:

• Unannehmbare Risiken: Verbotene KI-Anwendungen, wie beispielsweise soziale Bewertungen durch Behörden oder manipulative Systeme, die grundlegende Rechte verletzen könnten.
• Hohe Risiken: Hochrisiko-KI-Systeme, die strenge Konformitätsanforderungen erfüllen müssen, beispielsweise für biometrische Identifizierung oder sicherheitskritische Anwendungen.
• Systemische Risiken: Allzweck-KI-Modelle, die potenziell in verschiedenen kritischen Kontexten eingesetzt werden können und daher besonderen Anforderungen unterliegen.
• Begrenzte Risiken: KI-Systeme, die geringfügigen Transparenzpflichten unterliegen, einschließlich Allzweck-KI-Modelle ohne systemisches Risiko und Anwendungen, die einfache Nutzerinteraktionen betreffen.
• Minimale Risiken: KI-Systeme ohne direkten Kontakt mit Menschen, etwa maschineninterne Prozesse ohne Hochrisikopotenzial, für die keine weiteren Anforderungen vorgesehen sind.
  
   

Hochrisiko-KI

Art. 6 KI-Verordnung definiert hierbei, unter welchen Voraussetzungen ein KI-System als „hochriskant“ gilt. Bei Hochrisiko-KI Systemen handelt es sich um KI-Systeme, die nach der Einschätzung der EU hochriskant für die Gesundheit, Sicherheit oder Grundrechte der EU-Bürger sind, deren großer sozioökonomischer Nutzen diese Risiken aber überwiegt (vgl. Erwägungsgrund 46), weshalb sie gerade nicht verboten werden. 

Die Methodik zur Einstufung als Hochrisiko-KI-System basiert auf einer Kombination von Produktsicherheitsanforderungen und spezifischen Anwendungsbereichen. So listet die KI-Verordnung in den Anhängen I und III Fälle auf, bei denen der Einsatz von KI-Systemen als hochriskant angesehen wird. 

• Anhang I: Anhang I listet zwanzig EU-Rechtsakte wie z.B. die Maschinenverordnung oder die Verordnung über Medizinprodukte auf. Unterfällt ein KI-System als Produkt selbst (sog. Embedded AI Systems) dem Anwendungsbereich einer der in Anhang I genannten EU-Rechtsakte oder stellt das KI-System eine Sicherheitskomponente eines Produktes (z.B. KI-Anwendung in robotergestützter Chirurgie) dar, welches dem Anwendungsbereich eines der in Anhang I genannten EU-Rechtsakte unterfällt, und ist nach dem EU-Rechtsakt eine Konformitätsbewertung durch Dritte erforderlich, bevor das Produkt in der EU in den Verkehr gebracht wird, gilt das KI-System als Hochrisiko-KI.
• Anhang III: Dieser Anhang definiert spezifische Anwendungsbereiche und -fälle, die unabhängig von der Produktsicherheitsklassifizierung als hochriskant gelten (sog. Non-Embedded AI Systems). Wird ein KI-System in einem bestimmten Bereich (Sektor) für einen bestimmten Anwendungsfall verwendet werden und birgt die Verwendung des KI-Systems ein erhebliches Risiko, die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen zu beeinträchtigen, gilt es als hochriskant, unabhängig von einer produktsicherheitsrechtlichen Klassifizierung.

Das bedeutet: Die Einstufung als hochriskant erklärt sich bei den Embedded AI Systems aus den Gefahren und Risiken des Ausfalls oder der Störung des KI Systems. Die Funktionsbeeinträchtigungen sind so schwerwiegend, dass dadurch die Gesundheit, Sicherheit oder die Grundrechte der Unionsbürger bedroht werden. 

Praxis-Beispiel 1: KI Systeme, die in einem KFZ autonomes Fahren ermöglichen sind gemäß Art. 6 Abs. 1 i.V.m. Anhang I Nr. 19 KI-Verordnung i.V.m. Verordnung 2018/858 über die Genehmigung von Fahrzeugtypen als Hochrisiko-KI-Systeme einzustufen.

Bei den Non-Embedded AI Systems zeichnet sich ein anderes Bild ab. Die Gefahr für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen und damit die Einstufung des KI-Systems als hochriskant gründet bei diesen in der konkreten, regelkonformen Verwendung des KI-Systems in einem grundrechtssensiblen Lebensbereich.

Bereich: HR

Ein solcher sensibler Bereich ist laut Anhang III Nr. 4 der KI-Verordnung der Bereich „Beschäftigung und Personalmanagement“. KI-Systeme, die

• für die Einstellung oder Auswahl natürlicher Personen (z.B. um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten),
• für Entscheidungen, welche die Bedingungen oder die Beendigung von Arbeitsverhältnissen oder Beförderungen beeinflussen,
• für die Zuweisung von Aufgaben auf der Grundlage von individuellem Verhalten oder persönlichen Eigenschaften oder Merkmalen,
• für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen (Performance-Evaluierung)
  
   

bestimmt sind, sind erst einmal als Hochrisiko-KI-Systeme zu qualifizieren, soweit nicht eine Ausnahme gemäß Art. 6 Abs. 3 KI-Verordnung greift (siehe Ziffer 4.). 

Jedes Unternehmen, welches sich z.B. zur Erleichterung der Kandidatensuche einer KI bedienen möchte, muss vorher prüfen, ob es dadurch nicht den strengen Regeln für Hochrisiko-KI unterliegt. Darüber hinaus müssen Unternehmen im Blick behalten, dass neben der KI-Verordnung weitere Regelungen gelten können, insbesondere im Bereich Human Resources. Dazu zählen die Bestimmungen der Datenschutz-Grundverordnung sowie künftig die Richtlinie über die Plattformarbeit und entsprechende nationale Umsetzungen. 

Praxis-Beispiel 2: Wird ein KI System zur Beurteilung der Arbeitsleistung eines Mitarbeitenden verwendet, handelt es sich um ein Hochrisiko KI System gemäß Art. 6 Abs. 2 i.V.m. Anhang III Nr. 4 lit. b KI-Verordnung.

Ausnahmeregelung

Die KI-Verordnung sieht für Non-Embedded AI Systems in Art. 6 Abs. 3 KI-Verordnung die Möglichkeit eines Gegenbeweises vor. Und zwar immer dann, wenn der Einsatz des KI-Systems, „kein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen birgt, auch nicht dadurch, dass es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.“ 

Besitzt das KI System also keine „Letztentscheidungskompetenz“ und ist nur unterstützend, wird jedoch nicht ersetzend für einen Menschen eingesetzt, ist die Wahrscheinlichkeit hoch, dass die Ausnahme greift, beispielsweise, wenn ein KI-System im HR-Bereich eine Lebenslauf-Analyse (sog. Parsing) nach Noten vornimmt oder lediglich die im Bewerbungsverfahren eingegangenen Dokumente kategorisiert. Das KI System führt dann eine so eng gefasste Aufgabe aus, dass das Risiko für die Grundrechte des Unionsbürgers nicht erhöht wird. Sofern die Ausnahmeregelung greift, ist eine solche Einschätzung zu dokumentieren und die Dokumentation auf Anforderung den Behörden zu übergeben.

Eine Ausnahme von der Ausnahme macht Art. 6 Abs. 3 KI-Verordnung selbst: Ein KI System gilt stets als hochriskant, wenn es ein Profiling natürlicher Personen durchführt.

Folgen der Einstufung als Hochrisiko-KI-System 

Greift keine der genannten Ausnahmen, treffen das Unternehmen – je nachdem welche Rolle ein Unternehmen in Bezug auf das eingesetzte KI-System hat – unterschiedliche Pflichten:

Anbieter

Anbieter von Hochrisiko-KI-Systemen sind Unternehmen, die ein KI-System selbst entwickeln oder entwickeln lassen und es unter ihrem eigenen Namen oder ihrer Handelsmarke in den Verkehr bringen oder in Betrieb nehmen, sei es entgeltlich oder unentgeltlich. Sie haben sicherzustellen, dass die in Art. 8 ff. KI-Verordnung genannten Anforderungen während des gesamten Lebenszyklus des KI-Systems erfüllt werden, was durch ein geeignetes Risikomanagementsystem gewährleistet werden soll (vgl. Art. 9 und 16 KI-Verordnung). Zu den Pflichten gehören unter anderem: 

• Aufbau von KI-Kompetenz im Unternehmen (Art. 4 KI-Verordnung),
• Sicherstellung einer hohen Qualität bei Trainings-, Validierungs- und Testdatensätze (Art. 10 KI-Verordnung),
• Erstellung technischer Dokumentationen und Aufzeichnungen (Art. 11, 12 KI-Verordnung),
• Erfüllung der Transparenzpflichten und der Bereitstellung von Informationen für Betreibern (Art. 13 KI-Verordnung),
• Einhaltung eines angemessenen Maßes an Robustheit, Sicherheit und Genauigkeit des jeweiligen „Hochrisiko-KI-Systems“ (Art. 15 KI-Verordnung),
• Einrichtung eines Qualitätsmanagementsystems (Art. 17 KI-Verordnung),
• Erstellung und Bereithalten einer EU-Konformitätserklärung (Art. 47 KI-Verordnung),
• Erfüllung von Kennzeichnungs- / Registrierungspflichten (Art. 48, 49 KI-Verordnung).

Betreiber

Die Betreiber von Hochrisiko-KI-Systemen, also Unternehmen, welche die KI-Systeme verwenden, unterliegen einem weniger umfangreichen Pflichtenkatalog. Sie müssen unter anderem: 

• Hochrisiko-KI-Systeme gemäß der Gebrauchsanweisung und der Zweckbestimmung nutzen (Art. 26 Abs. 1 KI-Verordnung), 
• die Qualität der Eingabedaten sicherstellen (Art. 26 Abs. 4 KI-Verordnung), 
• den Betrieb des Hochrisiko-KI-Systems anhand der Betriebsanleitung überwachen (Art. 26 Abs. 5 KI-Verordnung), 
• KI-Kompetenz im Unternehmen aufbauen (Art. 4 KI-Verordnung). 

Praxistipp: Neben der KI-Verordnung sind weitere Gesetze zu beachten. Neben dem Datenschutz dürften vor allem die Vorgaben aus dem Arbeitsrecht eine entscheidende Rolle spielen. In Deutschland muss der Betriebsrat eingebunden werden, wenn Hard- und Software im Unternehmen eingeführt wird, die geeignet ist die Leistung oder das Verhalten der Arbeitnehmenden zu überwachen. Die nach dem Betriebsverfassungsgesetz bestehenden Mitbestimmungsrechte, insbesondere nach § 90 Abs. 1 Nr. 3, § 95 Abs. 2 a oder § 87 Abs. 1 Nr. 6 BetrVG, sind neben der KI-Verordnung weiterhin vom Arbeitgeber zu beachten. Zudem kann der Betriebsrat gemäß § 80 Abs. 3 BetrVG einen Sachverständigen hinzuziehen, soweit dies zur ordnungsgemäßen Erfüllung der Aufgaben des Betriebsrats erforderlich ist. Weitere beachtliche Änderungen dürften das erwartete Beschäftigtendatenschutzgesetz mit sich bringen sowie die Umsetzung der Richtlinie zur Plattformarbeit.

Praxishinweis: Ein Akteur kann gleichzeitig mehreren Pflichtenkatalogen unterliegen (vgl. Erwägungsgrund 83). Das bedeutet, dass ein Anbieter, der ein von ihm entwickeltes KI System zu eigenen Zwecken nutzt gleichzeitig auch den Betreiberpflichten des Art. 26 KI Verordnung unterliegen kann. Auch könnte möglicherweise ein Betreiber durch Finetuning zum Anbieter werden, weshalb er dann auch die umfangreicheren Anbieterpflichten erfüllen müsste. Ob ein Finetuning bereits derart weitreichende Folgen hat, ist derzeit rechtlich allerdings noch nicht abschließend geklärt.

Importeure

Importeure von KI-Systeme, deren Anbieter außerhalb der EU ansässig sind, haben die Aufgabe vor Einführung der KI-Systeme in den EU-Markt, die Konformität des KI-Systems zu überprüfen. So haben sie vor allem zu überprüfen, ob der Anbieter das Konformitätsbewertungsverfahren durchgeführt hat, eine technische Dokumentation vorliegt, das KI-System eine CE-Kennzeichnung hat und der Anbieter einen bevollmächtigten benannt hat (vgl. Art. 23 Abs. 1 KI-Verordnung). Zudem muss der Einführer selbst sicherstellen, dass durch die Lagerung und den Transport die Konformität des KI-Systems nicht beeinträchtigt wird (vgl. Art. 23 Abs. 2 KI-Verordnung). Importeure sind ferner zu bestimmten Angaben auf der Verpackung oder in der Dokumentation verpflichtet (vgl. Art. 23 Abs. 3 KI-Verordnung), müssen mit den zuständigen Behörden zusammenarbeiten und Informationen zur Konformität des KI-Systems bereitstellen, diese Informationen für einen Zeitraum von zehn Jahren vorhalten (vgl. Art. 23 Abs. 5 und 6 KI-Verordnung).

Händler

Die Pflichten für Händler von Hochrisiko-KI-Systems erstrecken sich primär darauf, zu überprüfen, dass die vorgelagerten Akteure (Hersteller, Anbieter und Importeur) ihren Pflichten nachgekommen sind. Händler haben das Vorhandensein der CE-Kennzeichnung, der Kopie der EU-Konformitätserklärung und der Betriebsanleitung zu überprüfen (Art. 24 Abs. 1 KI-Verordnung). Bei mangelnder Konformität darf ein Händler das KI-System nicht dem EU-Markt bereitstellen (Art. 24 Abs. 2 KI-Verordnung). Der Händler hat mit den zuständigen Behörden zusammenzuarbeiten und Informationen zur Konformität bereitzustellen sowie um ausgehende Risiken von einem von ihm auf den EU-Markt gebrachtes Hochrisiko-KI-Systemen abzumildern (Art. 24 Abs. 6 KI-Verordnung). 

Transparenzpflichten für bestimmte KI-Systeme 

Sollen bestimmte KI-Systeme im Sinne des Art. 50 KI Verordnung eingesetzt werden, sind auch die dort normierten Transparenzpflichten einzuhalten. Ausweislich Art. 50 Abs. 6 KI Verordnung stehen die Transparenzpflichten neben den Pflichten für Hochrisiko KI Systeme. 

Umsetzungsfristen und Bußgelder

Zwar ist die KI-Verordnung nun seit August 2024 in Kraft, die Vorschriften zur Hochrisiko-KI finden jedoch erst sukzessive Anwendung.

• Ab 2. August 2026: Pflichten für Hochrisiko-KI-Systeme gemäß Anhang III (NON-Embedded AI Systems) 
• Ab 2. August 2027: Pflichten für Hochrisiko-KI-Systeme gemäß Anhang I (Embedded AI Systems)
  
   

Für Hochrisiko-KI-Systeme, die vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden, gilt die KI-Verordnung nur, wenn sie in ihrer Konzeption erheblich verändert wurden.

Hält ein Unternehmen die Vorgaben der KI-Verordnung nicht ein, drohen Bußgelder bis zu 15 Millionen Euro oder bis zu 3 % des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist. 

Unternehmen sollten sich daher rechtzeitig mit den Anforderungen befassen. Es gilt zu prüfen, ob es sich bei der angebotenen oder verwendeten KI um ein Hochrisiko-KI-System handelt und welche Maßnahmen zu treffen sind, um mit Ablauf der Umsetzungsfrist compliant zu sein.