Verbotene Praktiken nach dem Entwurf der KI-Verordnung – Verbietet die Europäische Kommission Instagram?

Die Europäische Kommission legte am 21. April 2021 ihren Entwurf einer Verordnung zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (COM/2021/206 final, hier abrufbar, im Folgenden „Entwurf KI-Verordnung“) vor. Sie beabsichtigt damit eine globale Vorreiterrolle in der Regulierung von Systemen künstlicher Intelligenz einzunehmen. Mit diesem weltweit ersten konkreten Gesetzesentwurf zur Regulierung künstlicher Intelligenz wagt die Kommission einen regulatorisch herausfordernden Balanceakt. Die geplante KI-Verordnung strebt, wie Kommissionsvizepräsidentin und Wettbewerbskommissarin Vestager betont, an, Europa künftig als „globale[s] Zentrum für vertrauenswürdige künstliche Intelligenz (KI)“ zu etablieren und damit den vielfältigen sozioökonomischen Nutzen aus diesen sich rasant entwickelnden Technologien zu wahren, jedoch gleichzeitig den Schutz der Grundrechte und die Sicherheit der Unionsbürger zu gewährleisten.[1] Die gesetzgeberische Herausforderung besteht daher darin, einen ausgeglichenen Regelungsrahmen zu schaffen, der es vermeidet, Innovation und Wachstum durch bürokratische Überregulierung und exzessive Verbote zu ersticken.

Aufbau und Struktur der KI-Verordnung

Der Entwurf der KI-Verordnung verknüpft die Intensivität des regulatorischen Eingriffs mit der von der jeweiligen Nutzung eines KI-Systems ausgehenden Gefahr für Grundrechte und Sicherheit der Bürger. Er nimmt dabei eine mehrstufige risikoorientierte Klassifizierung vor. Besonders schädliche Praktiken sollen gänzlich verboten werden. Die sog. Hochrisiko KI-Systeme sollen einer umfassenden Qualitäts- und Risikokontrolle unterliegen. Schließlich werden bestimmte Typen von KI-Systemen (bspw. Deep Fakes) Transparenz- und Kennzeichnungspflichten unterworfen. Dieser Artikel nimmt die verbotenen Praktiken in den Fokus.

Verbotene Praktiken

Der Entwurf der KI-Verordnung enthält in Art. 5 insgesamt vier verbotene Praktiken. Die Verbote der Art. 5 Abs. 1 lit. a und Art. 5 Abs. 1 lit. b Entwurf KI-Verordnung betreffen Verhaltensmanipulationen und richten sich auch an rein private Akteure, während die Verbote des Einsatzes von KI zu Zwecken des sog. „Social Scoring“ in Art. 5 Abs. 1 lit. c) Entwurf KI-Verordnung und zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken in Art. 5 Abs. 1 lit. d) Entwurf KI-Verordnung staatliches Handeln bzw. Handeln im Auftrag des Staats betreffen. Bei Verstößen gegen die Verbote in Art. 5 Entwurf KI-Verordnung drohen u.a. Geldbußen von bis zu EUR 30 Mio. oder, im Falle von Unternehmen, Geldbußen bis zu einer Höhe von 6 Prozent des gesamten weltweiten Umsatzes des vorangegangenen Geschäftsjahres (je nachdem, welcher Betrag höher ist).  

Verhaltensmanipulationen

Nach Art. 5 Abs. 1 lit. a und Art. 5 Abs. 1 lit. b Entwurf KI-Verordnung sollen solche KI-Systeme verboten werden, die entweder Techniken der unbewussten Beeinflussung einer Person einsetzen oder Schwäche oder Schutzbedürftigkeit einer bestimmten Gruppe von Personen aufgrund ihres Alters, ihrer körperlichen oder geistigen Behinderung ausnutzen, um das Verhalten von Personen in einer Weise wesentlich zu beeinflussen, die diesen Personen oder anderen Personen psychische oder physische Schäden zufügen können. Der besonders weite Wortlaut der Vorschrift kann auch allgemein akzeptierte KI-Anwendungen umfassen und es stellt sich die Frage, ob die Europäische Kommission tatsächlich einen so weiten Anwendungsbereich beabsichtigt. Nicht auszuschließen wäre ggf. nach einer wortlautgetreuen Auslegung die Subsumption des sozialen Netzwerks Instagram unter die Vorschrift.[2] Unter die weite Definition des Begriffs „System der künstlichen Intelligenz“ in Art. 3 Nr. 1 Entwurf KI-Verordnung lassen sich soziale Netzwerke wie Instagram fassen. Zudem sollen angeblich interne Studien von Facebook gezeigt haben, dass Instagram bei jungen Nutzern im Teenager-Alter zu einem negativen Körperbild, Essstörungen und sogar Gedanken von körperlicher Selbstverletzung bis hin zum Suizid führe.[3] Sollte sich dies als zutreffend erweisen, könnte das Verbot des Art. 5 Abs. 1 lit. b Entwurf KI-Verordnung greifen. Die besondere Schwäche und Schutzbedürftigkeit von Teenagern aufgrund ihres jungen Alters würde ausgenutzt werden, um deren Verhalten so zu beeinflussen, dass psychische und gar physische Schäden hervorgerufen werden. Mit Blick auf die Eigenverantwortung von Nutzern (und deren Eltern) erscheint eine solche Auslegung jedoch zu weitgehend. Es sollte daher überlegt werden, das Tatbestandsmerkmal der Ausnutzung der „Schwäche oder Schutzbedürftigkeit einer bestimmten Gruppe von Personen aufgrund ihres Alters oder ihrer körperlichen oder geistigen Behinderung“ weiter einzuschränken oder im Sinne des Leitbilds des mündigen Bürgers auf diese Alternative (im Gegensatz zur unbewussten Beeinflussung) gänzlich zu verzichten.  

Social Scoring

Gemäß Art. 5 Abs. 1 lit. c. Entwurf KI-Verordnung soll der Einsatz von KI zu Zwecken des „Social Scoring“ untersagt werden. Unter „Social Scoring“ KI sind Systeme zu verstehen, die zur Bewertung bzw. Klassifizierung der Vertrauenswürdigkeit natürlicher Personen eingesetzt werden, wobei die Bewertung entweder zur Benachteiligung in sozialen Zusammenhängen führt, die wiederum in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erfasst wurden, oder zu einer Benachteiligung von Personen, die im Hinblick auf ihr soziales Verhalten ungerechtfertigt oder unverhältnismäßig ist. Ein Beispiel wäre das in China bereits existierende, durch den Einsatz von KI realisierte Sozialkreditsystem. Der Einsatz von KI ermöglicht es den chinesischen Behörden, das Verhalten der Bürger in sämtlichen Lebensbereichen zu überwachen, hierzu Daten zu sammeln, um dann jedem Einzelnen einen entsprechenden „social score“ zuzuteilen. Das Überqueren einer Straße bei roter Ampel kann so zum Beispiel zur Herabstufung der Kreditwürdigkeit einer Person führen[4] – also zu einer Benachteiligung in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erfasst wurden. Dieses Verbot wäre daher tatsächlich ein bedeutender Schritt des europäischen Gesetzgebers, freiheitliche Grundrechte und die Intim- und Privatsphäre von Unionsbürgern angesichts einer bereits realen Bedrohung durch „Social Scoring“ KI zu wahren.  

Biometrische Echtzeit-Fernidentifizierung

Die Nutzung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken soll grundsätzlich ebenfalls untersagt werden (Art. 5 Abs. 1 lit. d Entwurf KI-Verordnung). Dieses Verbot soll nicht auf bestimmte Identifizierungssysteme (basierend z.B. auf der Echtzeit-Fernidentifizierung von Gesichtern) begrenzt werden, sondern sämtliche KI dieser Art (etwa auch basierend auf Erkennung der individuellen Gangart, sog. „Gaiting“) erfassen. Allerdings soll die Nutzung von KI zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken dann gestattet sein, wenn (i) der Einsatz für einen in Art. 5 Abs. 1 lit. d. (i) – (iii) Entwurf KI-Verordnung genannten Zweck unbedingt erforderlich ist, (ii) die in Art. 5 Abs. 2 Entwurf KI-Verordnung normierten Anforderungen an die Verhältnismäßigkeit erfüllt sind und (iii) im Einzelfall die vorherige Genehmigung einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde des Mitgliedstaats vorliegt, wobei in dringenden Fällen (Gefahr in Verzug) auch eine nachträgliche Genehmigung möglich ist. Die Zwecke, zu denen die KI-gestützte Echtzeit-Fernidentifizierung ausnahmsweise in öffentlich zugänglichen Räumen eingesetzt werden darf, sind (i) die Suche nach bestimmten potenziellen Opfern von Straftaten oder vermissten Kindern, (ii) das Abwenden von konkreten und unmittelbaren Gefahren für Leben oder körperliche Unversehrtheit natürlicher Personen oder eines Terroranschlags und (iii) die Verfolgung von Verdächtigen bestimmter Straftaten, die im Höchstmaß mit mindestens drei Jahren Freiheitsentzug bedroht sind. Der Einsatz für diese Zwecke muss nach Art. 5 Abs. 2 Entwurf KI-Verordnung zusätzlich einer Verhältnismäßigkeitsprüfung standhalten. Hierbei sind insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß des drohenden Schadens bei Nichteinsatz der KI mit der Schwere, der Wahrscheinlichkeit und dem Ausmaß der Folgen des Einsatzes der KI für die Rechte und Freiheiten aller betroffenen Personen abzuwägen. Schließlich ist die Verwendung der KI in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken auf das zeitlich, räumlich und personell erforderliche Maß zu beschränken und entsprechende Schutzvorkehrungen einzuführen. Der entsprechende Einsatz der KI ist durch die Mitgliedstaaten gesetzlich zu regeln (Art. 5 Abs. 4 KI-Verordnung).  

Fazit

Im Ergebnis kann man festhalten, dass der Entwurf der KI-Verordnung ein Meilenstein zum Schutz bürgerlicher Freiheitsrechte gegen etwaige Bedrohungen durch künstliche Intelligenz ist. Dies gilt insbesondere für das absolute Verbot von Social Scoring sowie das grundsätzliche Verbot der Nutzung von KI-Systemen zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken. Allerdings scheint der weite Wortlaut des Entwurfs insbesondere im Hinblick auf verhaltensmanipulierende KI teilweise über das Ziel hinauszuschießen und damit das Leitbild des freien und mündigen Bürgers wiederum in Frage zu stellen, wie das Instagram Beispiel zeigt. Insoweit wären klarstellende Einschränkungen wünschenswert.

[1] Europäische Kommission, PM v. 21.4.2021, https://ec.europa.eu/germany/news/20210421-kuenstliche-intelligenz-eu_de.

[2] Siehe hierzu auch Stieler, „Experte warnt: Instagram könnte als Risiko-Anwendung eingestuft werden – Interview mit Stephan Manuel Nagel“, MIT Technology Review vom 12.05.2021, abrufbar unter https://www.heise.de/hintergrund/Experte-warnt-Instagram-koennte-als-Risiko-Anwendung-eingestuft-werden-6043779.html.

[3] Siehe Mäder, Fulterer, „Plattform für Menschenhandel, Schäden bei Teenagern, falsche Nutzerzahlen: Das sind die Vorwürfe der Facebook-Whistleblowerin“, Neue Züricher Zeitung vom 05.10.2021, abrufbar unter https://www.nzz.ch/technologie/facebook-whistleblowerin-die-beschwerden-vor-der-boersenaufsicht-ld.1648950.

[4] Siemons, „Chinas Sozialkreditsystem - Die Totale Kontrolle“, Frankfurter Allgemeinen Zeitung vom 11.05.2018, abrufbar unter https://www.faz.net/aktuell/feuilleton/debatten/chinas-sozialkreditsystem-die-totale-kontrolle-15575861.html