Recht gegen Diskriminierung

Dieser Artikel wurde original veröffentlicht im Fachmagazin Report am 18.03.2024.

Das Europäische Parlament hat am 13. März 2024 den »AI-Act« (»KI-Gesetz«) mit überwältigender Mehrheit beschlossen. Darin gelten KI-Lösungen im HR-Bereich als Hochrisiko-KI-Systeme – mit besonderen Rechten und Pflichten.

Welche rechtlichen Anforderungen sind beim Einsatz von IT-Automatisierungs- oder KI-Lösungen in Unternehmensprozessen zu beachten?

Beim „AI-Act“ handelt es sich um eine EU-Verordnung, welche bald unmittelbar in den Mitgliedstaaten gelten wird. Sie wird wohl in absehbarer Zeit im sogenannten Amtsblatt der EU veröffentlicht werden und dadurch in Kraft treten. Sie ist 24 Monate danach mehr oder weniger uneingeschränkt anwendbar. Vieles deutet darauf hin, dass es sich um ein ähnlich epochales Regelwerk handeln könnte wie die DSGVO.

Aus arbeitsrechtlicher Sicht ist interessant, dass KI-Systeme im HR-Bereich laut AI-Act als Hochrisiko-KI-Systeme gelten. Das betrifft deren Einsatz für die Einstellung oder Auswahl von Bewerberinnen und Bewerben, wenn diese Systeme also etwa „autonom“ gezielte Stellenanzeigen schalten, Bewerbungen sichten, filtern oder diese gar bewerten. Dasselbe gilt, wenn KI über Arbeitsbedingungen, Beförderungen und Beendigungen entscheiden soll.

Die Qualifikation als Hochrisiko-KI-System bedeutet, dass für dessen Einsatz spezielle Vorgaben zu erfüllen sind. Insbesondere muss ein nachweisbares Risikomanagement betrieben werden, indem das System vor der Einführung getestet und während des Betriebs regelmäßig überprüft wird. Dadurch wird sichergestellt, dass die KI-Systeme sicher, transparent, nachvollziehbar, nicht diskriminierend und „umweltfreundlich“ sind und am Ende Personen von Menschen und nicht automatisiert überwacht werden.

Schon jetzt gilt, dass KI-Systeme im Rahmen des geltenden Rechts zu bewerten sind. So darf deren Einsatz vor allem nicht zu einer Diskriminierung aufgrund von Geschlecht, Elternschaft, Alter, ethnischer Herkunft, Religion, Weltanschauung, sexueller Orientierung oder Behinderung führen. Dies ist besonders heikel, da hier neben Schadenersatzansprüchen diskriminierter Personen für das Unternehmen auch ein großer Imageschaden entstehen kann. Dass solche Konsequenzen nicht bloße Theorien sind, haben Gerichtsfälle in den USA, aber auch in der EU bereits gezeigt. So gibt es etwa einen Gerichtsfall in Italien, in dem es darum ging, dass eine bei einem Essenszustelldienst eingesetzte KI-Software, die für die Zuteilung der Routen „zuständig“ war, im Laufe der Zeit begonnen hatte, Zustellerinnen zu benachteiligten, indem sie ihnen zum Beispiel schlechtere Zeitfenster zuwies. Für einen solchen diskriminierenden Bias haftet am Ende die Arbeitgeberin. Fälle wie dieser dürften auch eine Rolle dabei gespielt haben, dass die EU den Einsatz von KI im HR-Bereich als sehr riskant eingestuft hat.

Bereits jetzt besteht außerdem das Recht auf die Überprüfung wesentlicher Entscheidungen einer KI durch einen Menschen. Dies ergibt sich aus der DSGVO. Gerade Entscheidungen über Beförderungen oder Beendigungen von Dienstverhältnissen sind zweifellos solche Fälle.

In welchen Situationen muss der Einsatz von KI-Features klar kommuniziert werden?

Sobald personenbezogene Daten von Bewerbern oder Mitarbeitern verarbeitet werden, bestehen die datenschutzrechtlichen Informations- und Auskunftsrechte. Es handelt sich bei KI letztlich um ein Datenverarbeitungssystem. Es kann auch erforderlich sein, dass der Betriebsrat involviert werden muss. Das ist dann der Fall, wenn KI eine Kontrollmaßnahme darstellt, welche die Menschenwürde berührt, also etwa wenn biometrische Daten verarbeitet oder Bewegungsmuster von Lagermitarbeitern zwecks Effizienzsteigerung ausgewertet werden. Die Zustimmung des Betriebsrats kann ebenfalls erforderlich sein, wenn KI für die Beurteilung von Mitarbeitern eingesetzt wird.

Wird zum Beispiel im Bewerbungsprozess ein KI-System eingesetzt, das anhand von für Menschen normalerweise nicht wahrnehmbaren physiologischen Gegebenheiten (etwa Körpertemperatur oder Pupillenbewegungen) feststellen kann, ob eine Bewerberin lügen oder vielleicht schwanger sein könnte, muss vorab jedenfalls die Zustimmung eingeholt werden. Die Daten dürfen außerdem keinesfalls aufbewahrt werden. Dies ergibt sich nicht nur aus dem Datenschutz, sondern auch aus den allgemeinen Persönlichkeitsrechten. Die Frage ist, ob ab Geltung des AI-Acts ein solches System überhaupt noch erlaubt sein wird. In einem aufrechten Arbeitsverhältnis dürfte es wohl grundsätzlich – selbst bei Zustimmung des Betriebsrats – nicht eingesetzt werden, da es die Menschenwürde nicht nur berührt, sondern verletzt.

Welche weiteren Themen sind in diesem Zusammenhang aus Rechtssicht wichtig?

Wichtig ist, dass Arbeitgeber ihre Mitarbeiter auf den richtigen Umgang mit KI-Systemen sensibilisieren und ihnen verdeutlichen, dass man sich nicht im rechtsfreien Raum bewegt. Keinesfalls darf es zu Datenschutzverstößen kommen, etwa weil Mitarbeiter Daten von Kunden oder etwa Kollegen unkontrolliert in KI-Systeme eingeben. Dies betrifft etwa den Einsatz von Systemen wie ChatGPT. Zu beachten ist auch das Urheberrecht: Es gilt zu vermeiden, dass Mitarbeiter, die KI für die Erstellung geistiger Arbeitsergebnisse einsetzen, gegen Schutzrechte Dritter verstoßen. Verstöße können am Ende auf die Arbeitgeberin zurückfallen.

Arbeitsrechtlich interessant wird auch sein, wie sich die Verwendung von KI auf die kollektivvertragliche Einstufung auswirken könnte. Diese knüpft sehr oft daran an, wie schwierig und komplex die zu bewältigende Arbeit ist. So dürften etwa bisher komplexe Programmiertätigkeiten, welche derzeit eine entsprechende Ausbildung und Erfahrungen erfordern, bald durch angelernte Arbeitskräfte erledigt werden können. Bedeutet das, dass dann die gut ausgebildeten Programmierer zurückgestuft, also niedriger eingestuft werden können, oder aber umgekehrt, dass die angelernten Programmierer höher einzustufen sind, weil sie mithilfe der KI denselben Output wie Spezialisten liefern? Eine Antwort auf diese Frage gibt es derzeit noch nicht. Es sind dies aber Themen, mit denen sich die Sozialpartner wohl bald beschäftigen sollten.