Es ist vollbracht! Am 1. August 2024 trat die KI-Verordnung in Kraft. Die KI-Verordnung ist das weltweilt erste umfassende Regelwerk für Künstliche Intelligenz (KI) und zielt darauf ab, einheitliche Vorgaben für die Entwicklung und Nutzung von KI in der Europäischen Union festzulegen. Die KI-Verordnung wird – vergleichbar mit der Einführung der Datenschutz-Grundverordnung – erhebliche Auswirkungen für Unternehmen haben, auch und gerade im HR-Bereich.
HR-Abteilungen werden die Vorgaben der KI-Verordnung beim Einsatz von KI-Systemen, z.B. zur Vorab-Auswahl von Bewerbungen, beachten und einhalten müssen. Gerade auch im Hinblick von bereits verwendeten KI-Systemen bedarf es daher einer (zügigen) Bestandsaufnahme sowie einem „KI-Verordnungs-Check“, um sicherzustellen, dass die im Einsatz befindlichen KI-Systeme rechtskonform sind.
Rahmenbedingungen und Umsetzungsfristen der KI-Verordnung
Die KI-Verordnung definiert keinen allumfassenden Rechtsrahmen für KI, sondern verfolgt einen horizontalen, risikobasierten Ansatz, der sich primär auf Produktsicherheitsaspekte für KI-Systeme und Allzweck-KI konzentriert. Besonderes Augenmerk liegt auf KI-Systemen, die aufgrund ihres Risikopotenzials für Grundrechte und sensible Rechtsgüter strengeren Regulierungen unterliegen. Dieser Ansatz differenziert Verpflichtungen basierend auf dem Risikograd der Nutzung oder potenziellen Nutzung von KI-Systemen, unabhängig von der zugrundeliegenden Technologie. Dabei werden KI-Systeme in fünf Risikoklassen eingeteilt:
- unannehmbare Risiken (verbotene KI),
- hohe Risiken (Hochrisiko-KI),
- systemische Risiken (Allzweck-KI mit systemischen Risiken),
- begrenzte Risiken (bestimmte und Allzweck-KI),
- geringe Risiken (alle anderen KIs).
Die KI-Verordnung setzt regulatorische Maßnahmen gezielt dort ein, wo ein Risiko für die öffentliche Ordnung oder Grundrechte besteht, und regelt die Markteinführung, Inbetriebnahme sowie Nutzung von KI-Systemen, um eine sichere und rechtskonforme Anwendung innerhalb der EU zu gewährleisten.
Pflichten der Anbieter und Betreiber
Abhängig davon, wie risikoreich das KI-System eingestuft wird, treffen das Unternehmen unterschiedliche Pflichten. Anbieter von KI-Systemen sind die Hauptadressaten der KI-Verordnung. Das Gesetz hat aber auch die Betreiber im Blick, also die Anwender von KI-Systemen, es sei denn, das KI-System wird privat und nicht im Rahmen der beruflichen Tätigkeit verwendet. Das bedeutet: Setzen Unternehmen ein KI-System im Rahmen der eigenen Tätigkeit ein, sind sie Betreiber und fallen in den Anwendungsbereich der KI-Verordnung.
Praxistipp: Arbeitgeber werden in der Regel als Betreiber zu qualifizieren sein, soweit sie KI-Systeme im HR-Bereich einsetzen. Verändern sie indes die Zweckbestimmung eines KI-Systems oder nehmen sie eine andere wesentliche Änderung am KI-System vor, können sie vom Betreiber zum Anbieter werden.
Sanktionen
Die KI-Verordnung ist bei der hohen Komplexität ihrer Anforderungen gerade an Hochrisiko-KI-Systeme kein „zahnloser Tiger“. Hält ein Unternehmen die Vorgaben nicht ein, drohen ihm zukünftig Geldbußen von bis zu 35 Millionen Euro oder 7 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres, je nachdem, welcher Betrag höher ist.
Parallel zu den Bußgeldern haben die Marktüberwachungsbehörden auch die Möglichkeit, gerade Hochrisiko-KI-Systeme, die nicht regelkonform operieren, durch Aberkennung der Konformitätsbewertung vom Markt zu nehmen und deren Einsatz so lange zu untersagen, bis die Konformität wieder gewährleistet werden kann.
Was versteht die KI-Verordnung unter „KI-System“?
Einer der meistdiskutierten Punkte während des Gesetzgebungsverfahrens war, was überhaupt ein KI-System ist. Nach Art. 3 Nr.1 KI-Verordnung ist ein KI-System definiert als ein maschinengestütztes System, das für einen in wechselndem Maße autonomen Betrieb ausgelegt ist, das nach seiner Einführung anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ergebnisse wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorgebracht werden, die physische oder virtuelle Umgebungen beeinflussen können. Damit sind sowohl der Ansatz des „Machine Learning“ als auch der des „Deep Learning“ erfasst.
Nach dem Erwägungsgrund 12 der KI-Verordnung soll die Definition auf den Hauptmerkmalen von KI-Systemen beruhen, die sie von einfacheren herkömmlichen Softwaresystemen oder Programmieransätzen unterscheiden, und sie sollte keine Systeme umfassen, die ausschließlich auf von natürlichen Personen festgelegten Regeln zur automatischen Ausführung von Vorgängen beruhen. Entscheidendes Kriterium dürfte deshalb der Begriff „ableiten“ (in der englischen Fassung „infers“) sein. Das KI-System unterscheidet sich von „nicht intelligenter“ Software dadurch, dass es mit einem unterschiedlichen Grad an Autonomie arbeitet und aus den Eingaben, die es erhält, „ableitet“ und hierauf basierend Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen kann. Hier bleibt jedoch die weitere Entwicklung abzuwarten, wie Behörden und Gerichte den Begriff der KI-Systeme auslegen werden.
Vorgaben der KI-Verordnung für HR-KI-Systeme
Im HR-Bereich kommen bereits heute zahlreiche KI-Systeme, insbesondere im Recruiting, zur Anwendung. Für diese KI-Systeme bedarf es nun jeweils einer Prüfung, in welche Risikogruppe diese einzugruppieren sind und je nach Rolle des Arbeitgebers – Anbieter oder Betreiber – sind sodann die für die jeweilige Risikogruppe aufgestellten Pflichten einzuhalten.
KI mit unannehmbarem Risiko (Art. 5 KI-Verordnung) – Emotionserkennungssysteme am Arbeitsplatz
Nach der KI-Verordnung sind KI-gestützte Emotionserkennungssysteme am Arbeitsplatz verboten, es sei denn, diese sollen aus medizinischen oder sicherheitstechnischen Gründen eingerichtet oder in den Verkehr gebracht werden. Solche Emotionserkennungssysteme finden bereits heute am Arbeitsplatz vielfach Anwendung. Oftmals handelt es sich hierbei um KI-Systeme, die Übermüdung oder Konzentrationsprobleme zur Unfallvermeidung erkennen – z.B. bei Piloten oder Lastwagenfahrer oder KI-Systeme, die der Verifizierung der Identität dienen (z.B. bei Zugangskontrollen). Solche KI-Systeme werden auch zukünftig nach der KI-Verordnung erlaubt sein, da hier die Ausnahmeregelung – sicherheitstechnische Gründe – greift. Allerdings handelt es sich hierbei um Hochrisiko-KI, weshalb die strikten Regularien nach Art. 16 ff. KI-Verordnung einzuhalten sind.
Unter diese Regelung können aber auch KI-Systeme fallen, die die Gefühle von Menschen erfassen und auswerten können: Am Arbeitsplatz soll der Computer zum Beispiel Überforderung oder Langeweile erkennen und entsprechend darauf reagieren können und umgekehrt auch einen guten Lauf unterstützen können: z.B. durch Stummschaltung von Anrufen. Bei solchen KI-Systemen dürfte keine der Ausnahmeregelung greifen, so dass diese nach der KI-Verordnung in die höchste Risikogruppe einzustufen und damit ab dem 2. Februar 2025 verboten sein dürften.
Hochrisiko-KI im HR-Bereich (Art. 6 Abs. 2 iVm Annex III)
Als Hochrisiko-KI-Systeme zu qualifizieren sind grundsätzlich KI-Systeme
- für die Einstellung oder Auswahl natürlicher Personen (z.B. um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten);
- für Entscheidungen, welche die Bedingungen oder die Beendigung von Arbeitsverhältnissen oder Beförderungen beeinflussen;
- für die Zuweisung von Aufgaben auf der Grundlage von individuellem Verhalten oder persönlichen Eigenschaften oder Merkmalen;
- für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen.
Damit dürften viele HR-KI-Systeme als Hochrisiko-KI-Systeme zu qualifizieren sein und müssen somit den strengen Vorgaben der KI-Verordnung genügen.
Gibt es eine Ausnahmeregelung für Hochrisiko-KI-Systeme?
Die KI-Verordnung sieht in Art. 6 Abs. 3 eine Ausnahmeregelung für Hochrisiko-KI-Systeme vor. Danach gilt ein nach Annex III genanntes KI-System nicht als risikoreich, „wenn es kein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen birgt, auch nicht dadurch, dass es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst.“ Wann dies der Fall ist, wird sodann in Unterpunkten konkretisiert. Im HR-Bereich sind durchaus Anwendungen denkbar, die unter die Ausnahmeregelung fallen können: So liegt beispielsweise keine Hochrisiko-KI bei einem KI-System vor, dass für die Ausführung einer engen verfahrenstechnischen Aufgabe bestimmt ist (Art. 6 Abs. 3 UAbs. 2 (1) KI-Verordnung). Unter einer „engen verfahrenstechnischen Aufgabe“ könnte beispielsweise ein KI-System gefasst werden, dass eine Lebenslauf-Analyse (sog. Parsing) nach Noten vornimmt.
Praxistipp: Es ist daher stets zu prüfen, ob beim (geplanten) Einsatz einer eigentlich als Hochrisiko-KI einzuordnenden KI diese aufgrund der Ausnahmeregelung als nicht risikoreich gilt. Sofern die Ausnahmeregelung greift, ist eine solche Einschätzung zu dokumentieren. Die Dokumentation muss auf Anforderung den Behörden übergeben werden.
Anforderungen an Anbieter und Betreiber einer Hochrisiko-KI
Greift jedoch keine der genannten Ausnahmen, treffen das Unternehmen – je nachdem welche Rolle ein Unternehmen in Bezug auf das eingesetzte KI-System spielt – unterschiedliche Pflichten:
► Anbieter von Hochrisiko-KI-Systemen
Anbieter von Hochrisiko-KI-Systemen müssen ein Risikomanagementsystem einrichten und unterhalten, die KI-Systeme vor ihrer Inbetriebnahme auf die Einhaltung ihrer bestimmungsgemäßen Funktion und der Vorgaben der KI-Verordnung testen, sicherstellen, dass diese während der Nutzung von natürlichen Personen beaufsichtigt werden können und die Interaktion mit einem KI-System offenlegen.
► Betreiber von Hochrisiko-KI-Systemen
Die Betreiber von Hochrisiko-KI-Systemen– hierunter dürften Arbeitgeber zumeist fallen – unterliegen mannigfaltigen Anforderungen. Diese müssen unter anderem mit Hilfe von angemessenen technischen und organisatorischen Schutzmaßnahmen sicherstellen, dass das KI-System gemäß der Betriebsanleitung genutzt wird. Das KI-System ist durch kompetente, geschulte Personen zu beaufsichtigen und gemäß der Betriebsanleitung zu überwachen.
Praxistipp: Zentral für die Erfüllung dieser Vorgabe ist der Aufbau von „KI-Kompetenz“ und menschlicher Aufsicht in der Organisation. Unternehmen sollten daher frühzeitig dafür sorgen – und müssen dies ab dem 2. Februar 2025 sogar –, dass Personal bereitsteht, das über die erforderliche Kompetenz, Ausbildung und Befugnis zur Beaufsichtigung der Hochrisiko-KI verfügt. Aufgrund des Wortlautes („natürliche Personen“) können hierfür wohl auch externe Dienstleister eingesetzt werden.
Das Unternehmen muss zudem eine hohe Qualität der Eingabedaten sicherstellen, in dem nur Informationen in die KI eingegeben werden, die für den Einsatzzweck relevant und ausreichend repräsentativ sind. Es gibt zusätzliche Melde-, Dokumentations- und Speicherpflichten, die zu beachten sind, und die Mitarbeitenden, einschließlich deren Vertretung, sind vorab über einen Einsatz am Arbeitsplatz zu informieren.
Praxistipp: Unter „Arbeitnehmervertreter“ sind in Deutschland insbesondere Betriebsräte zu verstehen, auch wenn sie nicht als Betriebsrat von der Verwendung des KI-Systems betroffen sind. Die nach dem Betriebsverfassungsgesetz bestehenden Mitbestimmungsrechte, insbesondere nach § 90 Abs. 1 Nr. 3, § 95 Abs. 2 a oder § 87 Abs. 1 Nr. 6 BetrVG, sind neben der KI-Verordnung weiterhin vom Arbeitgeber zu beachten.
Eine besondere Informationspflicht besteht zudem, wenn Hochrisiko-KI-Systeme Entscheidungen über natürliche Personen treffen oder bei diesen Entscheidungen unterstützen. Betroffene haben in solchen Fällen ein neues Recht auf Erklärung einer Einzelfallentscheidung.
KI mit begrenztem oder geringem Risiko
Setzen Unternehmen weniger risikoreiche KI-Systeme ein, haben sie zwar weniger strengere, dennoch ebenfalls bestimmte Maßnahmen zu treffen. So müssen sie sicherstellen, dass das Personal, welches mit KI arbeitet, ein hinreichendes KI-Verständnis hat. Beim Einsatz bestimmter KI sind Transparenzpflichten zu beachten. Werden also via KI Bilder-, Audio- oder Videoinhalte erstellt, muss offengelegt werden, dass diese Inhalte durch KI erstellt oder verändert worden sind. Entsprechendes gilt für Texte, welche zu öffentlichen Informationszwecken publiziert werden. Nutzt ein Unternehmen ChatGPT hierfür, hat es diese Transparenzpflichten zukünftig zu wahren.
4. KI und Datenschutz
Bei der Verwendung von KI zu beachten ist vor allem auch der Datenschutz. Denn werden personenbezogene Daten in die KI eingegeben, gelten – auch nach Inkrafttreten der KI-Verordnung – sämtliche Anforderungen der Datenschutz-Grundverordnung. Es gibt keine Erleichterungen. Das bedeutet: Eine Datenverarbeitung ist nur erlaubt, wenn der Betroffene – also der Mitarbeitende oder Kunde – hierin eingewilligt hat oder die Verarbeitung auf Basis eines Gesetzes gestützt werden kann. Auch ist über die Datenverarbeitung umfangreich zu informieren. Die größte Herausforderung dürfte sein, die sog. Betroffenenrechte umzusetzen. Hierzu zählt beispielsweise das Recht des Mitarbeitenden auf Löschung oder Sperrung von Daten oder das Recht Auskunft über die Datenverarbeitung zu erhalten. Werden Daten mit Personenbezug in die KI eingegeben, dürfte eine Löschung – ohne auf Reset zu gehen – nicht mehr möglich sein. Das bedeutet, das Unternehmen dürfte stets das Risiko haben, die Betroffenenrechte nicht vollends erfüllen zu können. Damit drohen vor allem Bußgelder und Schadensersatzansprüche der Betroffenen. Unternehmen müssen sich dessen bewusst sein und entscheiden, ob und welche Datensätze sie in die KI eingeben und welche Risiken sie einzugehen bereit sind.
5. Resümee
Die KI-Verordnung stellt Unternehmen vor große Herausforderungen. Eine enge Zusammenarbeit zwischen HR-, Rechts- und Datenschutzabteilungen wird unerlässlich sein, um den Vorgaben der KI-Verordnung Rechnung zu tragen.
