Artikel 5 des AI Acts trat am 2. Februar 2025 in Kraft. Dieser verbietet bestimmte KI-Praktiken, die als „unannehmbares Risiko“ eingestuft werden. Inzwischen hat die Europäische Kommission hierzu auch ihre Leitlinien veröffentlicht. Dieser Artikel fasst zusammen, welche Folgen dies für den Healthcare-Sektor hat.

• Manipulative KI-Techniken

KI-Systeme, die darauf abzielen, das Verhalten von Menschen auf eine Weise zu beeinflussen, die zu physischen oder psychischen Schäden führen kann, sind grundsätzlich verboten. Für den medizinischen Bereich gibt es jedoch eine entscheidende Ausnahme: Das Verbot gilt nicht für KI-Systeme, die ausschließlich aus medizinischen oder sicherheitstechnischen Gründen in Verkehr gebracht werden, wie z. B. Systeme, die für therapeutische Zwecke bestimmt sind.

Die Leitlinie nennt als Beispiel für eine erlaubte Praktik ein therapeutischer Chatbot nutzt unterschwellige Techniken, um die Benutzer zu einem gesünderen Lebensstil zu bewegen und schlechte Gewohnheiten, wie das Rauchen, aufzugeben. Selbst wenn die Benutzer, die den Ratschlägen des Chatbots und der unterschwelligen Therapie folgen, aufgrund der Anstrengungen, mit dem Rauchen aufzuhören, unter körperlichen Beschwerden und psychischem Stress leiden, kann nicht davon ausgegangen werden, dass der KI-gestützte Chatbot wahrscheinlich erheblichen Schaden anrichtet. Solche vorübergehenden Beschwerden sind unvermeidlich und werden durch die langfristigen Vorteile für die Gesundheit der Benutzer aufgewogen. Es gibt keine versteckten Versuche, die Entscheidungsfindung über die Förderung gesunder Gewohnheiten hinaus zu beeinflussen.

Diese Ausnahmen schaffen Klarheit für medizinische Anwendungen, lassen aber Fragen offen, wie mit grenzwertigen Technologien umzugehen ist. So kann beispielsweise ein therapeutischer Chatbot, der darauf abzielt, Menschen mit geistigen Behinderungen Unterstützung im Bereich der psychischen Gesundheit und Bewältigungsstrategien zu bieten, ihre begrenzten intellektuellen Fähigkeiten ausnutzen, um sie zum Kauf teurer medizinischer Produkte zu bewegen oder sie zu Verhaltensweisen zu verleiten, die für sie selbst oder andere Personen schädlich sind.

• Verbot der Emotionserkennung am Arbeitsplatz – auch in Krankenhäusern

Außerdem ist der Einsatz von KI-Systemen zur Ableitung von Emotionen am Arbeitsplatz und in Bildungseinrichtungen grundsätzlich untersagt. Dies betrifft auch Krankenhäuser und Pflegeeinrichtungen, wo Emotionserkennung in verschiedenen Bereichen für eine Vielzahl von Anwendungen eingesetzt werden kann, wie z. B. zur Erkennung von Depressionen, zur Suizidprävention oder zur Erkennung von Autismus. Sofern die Systeme beispielsweise Stresslevel oder emotionale Zustände von Patienten analysieren sollen, dies aber auch bei Ärztinnen oder Pflegern tun, könnte das Verbot greifen.

Zwar gibt es eine Ausnahme, wenn ein KI-System aus medizinischen oder sicherheitstechnischen Gründen eingeführt oder auf den Markt gebracht wird. Systeme zur reinen Müdigkeitsüberwachung von Chirurgen oder Notärzten könnten daher zulässig bleiben.

Angesichts des Ziels des AI Acts, ein hohes Maß an Grundrechtsschutz zu gewährleisten, muss diese Ausnahme jedoch eng ausgelegt werden. Die allgemeine Überwachung des Stressniveaus am Arbeitsplatz (z.B. ein KI-System, das Burnout oder Depressionen bei Ärzten und Pflegern erkennen soll) ist aus Gesundheits- oder Sicherheitsgründen jedenfalls nicht zulässig und wäre weiterhin verboten. Jede Verwendung aus medizinischen und sicherheitstechnischen Gründen muss immer auf das unbedingt Notwendige und Verhältnismäßige beschränkt bleiben und von ausreichenden Schutzmaßnahmen (z.B. ein Gutachten eines Sachverständigen im Zusammenhang mit dem konkreten Anwendungsfall) begleitet sein. Die Notwendigkeit sollte auf objektiver Grundlage in Bezug auf den medizinischen und sicherheitstechnischen Zweck beurteilt werden und nicht auf die „Bedürfnisse“ des Arbeitgebers Bezug nehmen. Auch hier ist eine Einzelfallprüfung also angezeigt.

• Biometrische Kategorisierung anhand sensibler Merkmale

Die Nutzung von KI zur biometrischen Kategorisierung basierend auf sensiblen Merkmalen wie Ethnie, politischer Überzeugung oder sexueller Orientierung ist verboten. Dies betrifft insbesondere Anwendungen, die biometrische Daten für Diagnosezwecke nutzen. Der AI Act sieht jedoch Ausnahmen vor, wenn die Verarbeitung biometrischer Daten im Einklang mit EU- oder nationalem Recht erfolgt. Beispielsweise könnten KI-gestützte Systeme zur Erkennung genetischer Risikofaktoren unter diese Ausnahme fallen – eine genaue Prüfung bleibt aber erforderlich.

• Social Scoring & die Grenze zur verbotenen Bewertung

KI-Systeme zur Verhaltensvorhersage sind im medizinischen und sicherheitskritischen Kontext zulässig, etwa zur Früherkennung aggressiven Verhaltens in der Psychiatrie. Problematisch wird es jedoch, wenn die Bewertung über diesen Kontext hinausgeht – wenn etwa Patienten auch ausserhalb des Behandlungskontextes anhand der Bewertung des Systems anders behandelt werden. Der AI Act untersagt Social-Scoring-Praktiken, die zu einer unverhältnismäßigen oder ungerechtfertigten Schlechterstellung führen. Krankenhäuser und Anbieter sollten daher genau prüfen, dass ihre Systeme nicht über ihren eigentlichen Zweck hinaus genutzt werden.

Fazit

Auf den ersten Blick scheint die KI-Entwicklung, -Nutzung und der Betrieb im Healthcare-Sektor von den Verboten des AI Act verschont zu bleiben. Bei Licht betrachtet birgt die KI-Verordnung jedoch für einige Anwendungsfälle auch Unsicherheiten in der praktischen Anwendung. Für Akteure im Gesundheitswesen – von Kliniken über MedTech-Anbieter bis hin zu Forschenden – bedeutet das: KI-Systeme sollten spätestens jetzt auf ihre Konformität mit dem AI Act überprüft werden.