Am 18. Dezember 2024 veröffentlichte der Europäische Datenschutzausschuss (EDPB) seine Opinion 28/2024, die einige der zentralen datenschutzrechtlichen Fragen im Zusammenhang mit der Entwicklung und Nutzung von KI-Modellen adressiert. Die Opinion liefert Leitlinien, wie Unternehmen datenschutzkonforme Prozesse umsetzen können, ohne die Rechte der Betroffenen zu verletzen. Sie gibt die Sicht der im EDPB organisierten Datenschutzbehörden auf folgende Hauptthemen wieder:

• Anonymität von KI-Modellen
• Berechtigtes Interesse als Rechtsgrundlage
• Folgen rechtswidriger Datenverarbeitung

Im Folgenden erwartet Sie eine Zusammenfassung der Inhalte sowie eine Übersicht von der Opinion 28/2024 nicht behandelter Aspekte. Schließlich folgen einige Umsetzungshinweise für die Praxis.

Zusammenfassung der Inhalte

Anonymität von KI-Modellen

Der EDPB betont, dass die Anonymität eines mit personenbezogenen Daten trainierten KI-Modells nicht automatisch gegeben ist. Auch wenn KI-Modelle regelmäßig keine direkt extrahierbaren Datensätze enthalten, so doch Parameter, die Wahrscheinlichkeitsbeziehungen zwischen enthaltenen Daten ausdrücken. Dies kann die Ableitung personenbezogener Daten ermöglichen.

Anforderungen an Anonymität

Ein KI-Modell kann nur dann als anonym angesehen werden, wenn es fernliegend ist, dass personenbezogene Daten, mit denen das KI-Modell trainiert wurde,

1. direkt daraus extrahiert oder
2. indirekt durch entsprechende Eingaben oder Befehle in den Ausgaben des KI-Modells erlangt werden können.

Wenn die Aufsichtsbehörden bewerten, wie wahrscheinlich eines der Szenarios eintreten kann, sollen sie alle Umstände des Einzelfalls gründlich prüfen. Maßgeblich ist mit Erwägungsgrund 26, welche Mittel “von dem Verantwortlichen oder einer anderen Person nach allgemeinem Ermessen wahrscheinlich genutzt werden”, wobei sie auch unbeabsichtigte Verwendungen oder Offenlegung des KI-Modells berücksichtigen sollen.

Besonders problematisch sind in diesem Zusammenhang Privacy Attacks wie Membership Inference Attacks oder Rekonstruktionsangriffe, bei denen gezielte Abfragen genutzt werden, um Informationen über Trainingsdaten zu gewinnen. Diese Angriffe nutzen Schwachstellen in KI-Modellen, um entweder festzustellen, ob bestimmte Daten Teil des Trainingsdatensatzes waren (Membership Inference) oder um Teile der ursprünglichen Trainingsdaten zu rekonstruieren (Rekonstruktionsangriffe).

Prüfung durch Datenschutzaufsichtsbehörden anhand der Dokumentation

Datenschutzbehörden bewerten die Anonymität eines KI-Modells einzelfallbezogen anhand der jeweils vom Verantwortlichen getroffenen Maßnahmen. Diese müssen im Hinblick auf die beabsichtigte Nutzung wirksam und effektiv sein. Relevant sind insbesondere folgende Aspekte, für welche die entsprechenden Dokumentationen angefordert werden könnten:

• Bei der Datenauswahl und -vorbereitung getroffene Maßnahmen zur Reduzierung personenbezogener Trainingsdaten,
• Auswahl von Trainingsmethoden zur Reduzierung der Identifizierbarkeit,
• Programmierung des KI-Modells in einer Weise, die das Risiko direkter Ausgaben personenbezogener Trainingsdaten verringert,
• eigene Überprüfungen des Verantwortlichen, ob die getroffenen Anonymisierungsmaßnahmen wirksam sind
• Durchführung effektiver Tests der Widerstandsfähigkeit durch den Verantwortlichen in Bezug auf gezielte Angriffe von Dritten,
• jegliche verfügbare datenschutzrechtliche Dokumentation, insbesondere durchgeführte Datenschutzfolgenabschätzungen.

Anforderungen an Unternehmen

Unternehmen müssen also:

• Anonymisierungsmaßnahmen dokumentieren und nachweisen, z. B. durch Techniken wie Differential Privacy oder Pseudonymisierung.
• Resistenztests gegen Privacy Attacks durchführen, einschließlich Membership Inference und Modellrekonstruktion.
• Transparente Informationen über die Datenverarbeitung und die verbleibenden Risiken bereitstellen.

Berechtigtes Interesse: Abwägung und „vernünftige Erwartungen“

Zweites zentrales Thema der Opinion bildet die Rechtsgrundlage des berechtigten Interesses: Positiv anzumerken ist, dass der EDPB das berechtigte Interesse gemäß Art. 6 Abs. 1 UAbs. 1 lit. f DSGVO überhaupt als eine taugliche Rechtsgrundlage für die Verarbeitung personenbezogener Daten sowohl bei Entwicklung als auch Nutzung von KI-Modellen anerkennt. Die Rechtsgrundlage soll grundsätzlich sogar Anwendung für den KI-Betrieb finden können, wenn das KI-Modell unter Verstoß gegen die DSGVO trainiert wurde. Die Opinion unterstreicht, dass die Nutzung dieser Rechtsgrundlage stets eine sorgfältige Abwägung der Interessen erfordert.

Drei-Stufen-Test für die Nutzung berechtigter Interessen

Die Opinion 28/2024 betont, dass die Nutzung des berechtigten Interesses gemäß Art. 6 Abs. 1 UAbs. 1 lit. f DSGVO nur dann zulässig ist, wenn ein sorgfältiger Drei-Stufen-Test durchgeführt wird. Die einzelnen Schritte sind:

1. Stufe: Legitimes Interesse identifizieren
Ein berechtigtes Interesse muss rechtmäßig, klar definiert und aktuell sein:

• Rechtmäßigkeit: Das Interesse darf nicht im Widerspruch zu geltendem Recht stehen. Ein unzulässiges Interesse, wie z. B. die Umgehung von Datenschutzanforderungen, kann nicht als berechtigt gelten.
• Klarheit: Das Interesse muss präzise formuliert und nicht zu allgemein gehalten sein.
• Gegenwärtigkeit: Das Interesse muss real und aktuell sein, nicht hypothetisch oder spekulativ. Zukünftige oder mögliche Vorteile allein reichen nicht aus, um die Verarbeitung zu rechtfertigen.

Hiermit lehnt sich der EDPB an altbekannte Kriterien an, die beispielsweise auch in der datenschutzrechtlichen Zulässigkeitsprüfung von Videoüberwachungsmaßnahmen anzusetzen sind. Als konkrete Beispiele für legitime Interessen benennt der EDPB die Entwicklung eines Sprachassistenten zur Unterstützung der Nutzer, die Entwicklung eines KI-Systems zur Erkennung betrügerischer Inhalte oder betrügerischen Verhaltens und die Verbesserung der Erkennung von Bedrohungen in einem Informationssystem. Diese Interessen stehen jedoch unter dem Vorbehalt der Klarheit und Gegenwärtigkeit. Es wird daher eine Einzelfallprüfung der konkreten Verarbeitungstätigkeit notwendig sein, ob das konkret genannte legitime Interesse hierfür alle drei Voraussetzungen erfüllt.

2. Stufe: Notwendigkeit der Verarbeitung

Die Verarbeitung muss zwingend erforderlich sein, um das identifizierte Interesse zu verfolgen:

• Geeignetheit zur Zweckerreichung prüfen: Die Daten und die geplante Verarbeitung müssen in erster Linie überhaupt erst geeignet sein, das identifizierte Interesse zu verwirklichen oder zu fördern.
• Alternativen prüfen: Es ist zu bewerten, ob das Ziel auch mit weniger invasiven Mitteln erreicht werden könnte. Beispielsweise könnte geprüft werden, ob anonymisierte oder aggregierte Daten ausreichen, um das berechtigte Interesse zu verfolgen.
• Angemessene Datenmenge: Die Menge der verarbeiteten personenbezogenen Daten muss auf das notwendige Minimum beschränkt sein, um das Ziel zu erreichen (Prinzip der Datenminimierung).

Diese Schritte entsprechen einer Geeignetheits- und Erforderlichkeitsprüfung, wie wir sie im deutschen Recht kennen. Wenn z. B. ein KI-Modell entwickelt wird, das später personalisierte Empfehlungen geben soll, muss der Verantwortliche nachweisen, dass die Verarbeitung spezifischer personenbezogener Daten im Training zwingend notwendig ist und keine alternativen Datenquellen (beispielsweise fiktive oder anonymisierte Beispiele) oder weniger eingriffsintensive Methoden zur Verfügung stehen, um das angestrebte Ziel gleichermaßen gut zu erreichen.

3. Stufe: Abwägung der Interessen
In diesem Schritt wird geprüft, ob das berechtigte Interesse des Verantwortlichen die Rechte und Freiheiten der betroffenen Personen überwiegt:

• Identifizierung der Interessen, Rechte und Freiheiten der betroffenen Personen: Der Verantwortliche muss in seiner Interessenabwägung zunächst die konkreten Interessen, (Grund-)Rechte und Freiheiten der betroffenen Personen identifizieren, die durch die Verarbeitung betroffen sein können. Als Beispiele für Risiken nennt der EDPB das Reputationsrisiko, Identitätsdiebstahl oder -betrug und ein von der Art der Daten abhängiges Sicherheitsrisiko. Bezüglich der (Grund-)Rechte und Freiheiten können laut EDPB je nach Art des KI-Modells konkret die Meinungsfreiheit, die psychische Gesundheit insbesondere vulnerabler Personengruppen oder auch die Berufsfreiheit und das Recht zu arbeiten betroffen sein.
• Schwere des Eingriffs: Die potenziellen Auswirkungen der Verarbeitung auf die Betroffenen müssen bewertet werden, einschließlich der Sensibilität der verarbeiteten Daten und der möglichen Risiken für die Rechte der Betroffenen.
• Vernünftige Erwartungen der Betroffenen: Zu berücksichtigen ist, ob die betroffenen Personen in der jeweiligen Situation vernünftigerweise erwarten können, dass ihre Daten für diesen Zweck verarbeitet werden. Beispielsweise könnten Personen, die auf einer Plattform aktiv sind, eher erwarten, dass ihre Daten für die Plattformverbesserung genutzt werden, als Personen, deren Daten über Scraping aus öffentlich zugänglichen Quellen gesammelt wurden.
• Mögliche Vorteile für Dritte: Wenn das berechtigte Interesse darauf abzielt, Dritten zugute zu kommen, z. B. durch Sicherheitsverbesserungen, kann dies eine stärkere Gewichtung des Interesses rechtfertigen.
  
  

Rolle der vernünftigen Erwartungen im Rahmen der Interessenabwägung

Die „vernünftigen Erwartungen“ der Betroffenen sind ein zentraler Bestandteil der Abwägung. Sie werden durch verschiedene Faktoren beeinflusst:

• Art der Datenquelle: Daten, die öffentlich zugänglich gemacht wurden, erzeugen andere Erwartungen als Daten aus Drittsystemen oder durch Scraping gewonnene Informationen.
• Transparenz: Datenschutzinformationen sollten die Verarbeitung klar und verständlich erklären. Es reicht jedoch nicht aus, eine Verarbeitung lediglich in der Datenschutzerklärung zu erwähnen.
• Kontext der Verarbeitung: Die Erwartungen variieren, je nachdem, ob die Daten für personalisierte Inhalte oder allgemeine Modellverbesserungen genutzt werden.

Unternehmen können die Erwartungen der Betroffenen durch transparente Kommunikation und die gezielte Wahl geeigneter Datenquellen positiv beeinflussen.

Zusammenfassung des Drei-Stufen-Tests

Die Opinion verdeutlicht, dass jede Verarbeitung personenbezogener Daten auf Grundlage des berechtigten Interesses vorab sorgfältig geprüft, abgewogen und dokumentiert werden muss. Verantwortliche müssen den gesamten Prozess von der Definition des Interesses bis hin zur Abwägung der Rechte der Betroffenen nachvollziehbar gestalten und gegebenenfalls gegenüber den Aufsichtsbehörden begründen können. Die Abwägung darf dabei nicht rein formell erfolgen, sondern muss die tatsächlichen Auswirkungen auf die Betroffenen berücksichtigen.

Folgen rechtswidriger Datenverarbeitung

Angesichts der großen zum Training verwendeten Datenmengen besteht das Risiko, dass einzelne Datensätze nicht hätten verarbeitet werden dürfen. Ein zentraler Punkt der Opinion ist daher die Frage, wie sich eine rechtswidrige Verarbeitung von Daten in der Entwicklungsphase auf die spätere Nutzung eines KI-Modells auswirkt. Der EDPB beschreibt dabei drei Szenarien:

Szenario 1: Gleicher Verantwortlicher
Wenn die personenbezogenen Daten im Modell verbleiben und der gleiche Verantwortliche diese in der Nutzungsphase weiterverarbeitet, ist eine rechtliche Prüfung erforderlich, ob die Entwicklungs- und Nutzungsphase unterschiedlichen Zwecken dienen. Dienen beide Phasen denselben Zwecken, ist nur ein einziger Verarbeitungsvorgang gegeben – sollte also im Rahmen der Entwicklungsphase ein datenschutzrechtlicher Verstoß zur Rechtswidrigkeit der Verarbeitung führen, stellt auch die Nutzung des KI-Modells eine rechtswidrige Verarbeitung dar. Unterscheiden sich jedoch die Zwecke in Entwicklungs- und Nutzungsphase, kann die Rechtswidrigkeit der Entwicklungsphase auf die Nutzungsphase durchschlagen – zwingend ist dies aber nicht. Dies ist für den Einzelfall anhand der konkreten Auswirkungen der Verarbeitung in der Entwicklungsphase auf die Verarbeitung in der Nutzungsphase zu bewerten. Eine etwaige Rechtswidrigkeit der Verarbeitung in der Entwicklungsphase ist im Rahmen einer Interessenabwägung zu berücksichtigen, wenn die Nutzung des KI-Modells auf die Rechtsgrundlage des berechtigten Interesses nach Art. 6 Abs. 1 UAbs. 1 lit. f DSGVO gestützt wird (z. B. im Rahmen der Erwartungen betroffener Personen).

Szenario 2: Neuer Verantwortlicher
Wird das Modell von einem neuen Verantwortlichen eingesetzt, der die Daten für eigene Zwecke nutzt, trägt dieser die Verantwortung, die Rechtmäßigkeit der ursprünglichen Verarbeitung zu prüfen. Der neue Verantwortliche muss im Rahmen seiner Rechenschaftspflicht nachweisen, dass er die datenschutzkonforme Entwicklung des eingesetzten KI-Modells in angemessener Weise überprüft hat. Dies ist besonders relevant, wenn die ursprüngliche Verarbeitung von Datenschutzbehörden oder Gerichten als rechtswidrig eingestuft wurde und der neue Verantwortliche mithin hiervon Kenntnis haben musste. Der EDPB nimmt offenbar insoweit eine Mindestrecherchepflicht des Verantwortlichen an. Der Umfang der Prüfung durch den neuen Verantwortlichen sollte vom Risiko der weiteren Nutzung abhängen, insbesondere wenn sensible Daten im Modell enthalten sind.

Szenario 3: Nachträgliche Anonymisierung
Wenn das Modell nachträglich anonymisiert wird und personenbezogene Daten nicht mehr im Modell enthalten sind, gilt eine etwaige ursprüngliche Rechtswidrigkeit der Datenverarbeitung als irrelevant, da die DSGVO auf anonymisierte Daten keine Anwendung findet. In diesem Fall muss der Verantwortliche, der das KI-Modell nutzt, sicherstellen, dass keine Rückschlüsse auf die ursprünglichen personenbezogenen Daten möglich sind. Wenn ein anonymisiertes Modell in der Nutzungsphase mit neuen personenbezogenen Daten arbeitet – etwa durch die Verarbeitung von Benutzereingaben –, unterliegt diese Verarbeitung aber weiterhin den Vorgaben der DSGVO, da die neuen Daten nicht Teil der ursprünglichen Anonymisierung sind und eine eigenständige Verarbeitung darstellen. Verantwortliche müssen sicherstellen, dass neue Verarbeitungen mit einer gültigen Rechtsgrundlage erfolgen und alle Rechte der Betroffenen gewahrt bleiben.

Nicht behandelte Themen in der Opinion

Die Opinion klärt einige zentrale Aspekte, lässt jedoch wichtige Punkte offen:

• Besondere Datenkategorien (Art. 9 DSGVO): Der Umgang mit sensiblen Daten wie Gesundheitsdaten wird nicht abschließend behandelt. Dies ist insbesondere relevant für den Einsatz von KI im Gesundheitsbereich.
• Automatisierte Entscheidungen (Art. 22 DSGVO): Die Opinion geht nicht detailliert auf zusätzliche Schutzmaßnahmen für automatisierte Entscheidungen ein.
• Datenschutz-Folgenabschätzungen (DPIAs): Die genaue Umsetzung von DPIAs bleibt offen.
• Kompatibilitätstest: Die Opinion behandelt nicht, ob und wann personenbezogene Daten, die für einen anderen Zweck erhoben wurden, im Einklang mit Art. 6 Abs. 4 DSGVO zur KI-Entwicklung genutzt werden dürfen.
• Privacy by Design: Wie dieses Prinzip bei KI-Modellen konkret angewendet werden soll, wird nicht näher erläutert.

Es ist anzunehmen, dass die ausgeschlossenen Themenbereiche aufgrund ihrer Komplexität zukünftig in eigenen Opinions des EDPB behandelt werden.

Folgende Arten von KI-Modellen dürften nicht von der Opinion umfasst sein, da sie nicht mit personenbezogenen Daten trainiert wurden oder keinen direkten Bezug zu Betroffenen haben:

Nicht-generative KI-Systeme: Modelle, die keine personenbezogenen Daten verwenden, z. B. reine Bildklassifikatoren für technische Objekte oder physikalische Simulationen.

Beispiel: Ein Modell zur Erkennung von Fahrzeugtypen in einer Produktionslinie.

Systeme mit auf wirksame Anonymisierung geprüften Datensätzen: Modelle, bei denen die Trainingsdaten so anonymisiert wurden, dass keine Rückschlüsse auf Individuen möglich sind – auch nicht unter Berücksichtigung der besonderen Fähigkeiten des konkreten KI-Modells. Diese Modelle fallen bereits nicht in den Geltungsbereich der DSGVO.

Anwendungsbereiche ohne direkten Personenbezug: KI-Modelle, die in Bereichen wie Wettervorhersagen oder technischen Simulationen eingesetzt werden und keine personenbezogenen Daten verarbeiten.

Regressive Modelle (unter bestimmten Bedingungen):

Statische Modelle: Regressive Modelle wie lineare oder logistische Regression, die einmalig trainiert und nicht kontinuierlich aktualisiert werden, könnten ausgenommen sein, wenn sie keine personenbezogenen Daten verarbeiten.
Beispiel: Ein Modell, das allgemeine wirtschaftliche Indikatoren zur Bewertung von Kreditrisiken verwendet.

Mathematisch-statistische Verfahren: Regressionsmodelle, die auf mathematischen Gleichungen basieren und keine personenbezogenen Daten nutzen, fallen möglicherweise nicht unter die eng gefasste Definition von KI-Modellen.

Praktische Umsetzung der Leitlinien der Opinion

Der EDPB betont in der Opinion, dass eine Einzelfallbetrachtung bezüglich der Entwicklung und des Einsatzes von KI-Modellen notwendig ist, um die datenschutzrechtliche Zulässigkeit feststellen zu können. Konkret nennt der EDPB bestimmte Dokumentationen und Unterlagen, die besonders von den Datenschutzaufsichtsbehörden bei einer Prüfung zu berücksichtigen sind. Unternehmen, die KI-Modelle entwickeln oder einsetzen, sollten daher insbesondere darauf achten, dass:

• zumindest eine Schwellwertprüfung bezüglich der Notwendigkeit einer Datenschutzfolgenabschätzung dokumentiert wird,
• Einschätzungen, Bewertungen und Hilfestellungen des/der Datenschutzbeauftragte*n in die rechtliche Bewertung einbezogen wurden,
• die technischen und organisatorischen Maßnahmen (TOM) während der Entwicklung und des Einsatzes eines KI-Modells dokumentiert werden (s.o.),
• insbesondere festgehalten wird, auf Grundlage welcher TOM die Anonymität des KI-Modells gewährleistet und / oder festgestellt werden konnte,
• technische Dokumentation zur Resistenz des KI-Modells gegen Privacy Attacks besteht.

Fazit

Die EDPB-Opinion 28/2024 bietet eine wichtige Orientierung für Unternehmen, stellt aber auch die hohen Anforderungen heraus, mit denen Verantwortliche konfrontiert sind. Transparenz, gezielte Auswahl von Datenquellen und umfassende Dokumentation sind essenziell, um Datenschutz und Innovation in Einklang zu bringen. Hierbei zeigt sich die Wichtigkeit eines konstanten und qualitativen Austauschs der technischen und juristischen Fachbereiche von Unternehmen, ohne den das Treffen angemessener Maßnahmen schwierig wäre. Der Fokus der Opinion liegt dabei eindeutig auf der Einhaltung der Grundlagen des Datenschutzrechts: Insofern bietet die Opinion kaum neue Erkenntnisse. Jedoch wird verdeutlicht, dass die Aufsichtsbehörden hohe Anforderungen an die Dokumentation durch Unternehmen stellen, die KI einsetzen möchten. Indem sich Unternehmen an die in der Opinion beschriebenen Leitlinien halten, können sie die regulatorischen Anforderungen erfüllen und zusätzlich das Vertrauen der Betroffenen stärken.