Artificial Intelligence Act (AIA) - Rechtliche Unsicherheit für Medizinproduktehersteller

Autoren: Dr. Daniel Tietjen, Dr. Niclas von Woedtke, Ennio Schwind

Im April 2021 hat die Europäische Kommission ihre Pläne zur Regulierung von Künstlicher Intelligenz (kurz „KI“) innerhalb der EU vorgestellt und einen ersten Entwurf des sogenannten „Artificial Intelligence Act“ („AIA“) veröffentlicht. Mit diesem Verordnungsentwurf verfolgt sie einen horizontalen, also für sämtliche Industriezweige gleichermaßen gültigen, Regulierungsansatz von KI. Neben den der breiten Masse bekannten Formen von KI wie etwa dem „Autonomen Fahren“ sind von AIA u.a. auch „KI-Medizinprodukte“ erfasst. Im Unterschied zum „Autonomen Fahren“ besteht für Medizinprodukte jedoch bereits seit geraumer Zeit ein umfangreicher Regulierungsrahmen auf europäischer Ebene: Die MDR. Da auch die MDR „KI-Medizinprodukte“ erfasst, kommt es in diesem Bereich nun zu erheblichen Überschneidungen mit AIA. Dieser Umstand alleine wäre an sich nicht weiter tragisch. Bedauerlicherweise ist es dem europäischen Gesetzgeber jedoch nicht gelungen, das Zusammenspiel der beiden Verordnungen so zu gestalten, dass es frei von Widersprüchen ist, weshalb AIA in seiner derzeitigen Ausgestaltung für erhebliche Rechtsunsicherheit sorgt.

Nahezu alle KI-Medizinprodukte werden als „hochriskant“ eingestuft

So bestimmt etwa Art. 6 i.V.m. Annex II Nr. 11 AIA, dass sämtliche KI-Medizinprodukte, die ein Konformitätsbewertungsverfahren durch eine Benannte Stelle durchlaufen müssen, als „Hochrisiko-KI-System“ im Sinne des AIA eingestuft werden. Hierbei wird jedoch übersehen, dass es sich bei KI-Medizinprodukten in der Regel um Software handelt und diese meist der Klassifizierung IIa oder höher unterliegen (Anhang VIII, Kapitel III, Regel 11 MDR). Als Folge dieser Klassifizierung muss deshalb nahezu jede in der Medizin eingesetzte Software ein Konformitätsbewertungsverfahren durchlaufen, weshalb nahezu alle KI-Medizinprodukte als „Hochrisiko-KI-Systeme“ im Sinne des AIA eingestuft werden. 

Dies bringt für die Hersteller erhebliche Konsequenzen mit sich. So ist es bei „Hochrisiko-KI-Systemen“ nämlich erforderlich, ein zusätzliches Risikomanagementsystem einzuführen (Art. 9 AIA). Weiterhin ist es erforderlich, verschärfte Anforderungen in Bezug auf die technische Dokumentation (Art. 11 AIA), die Aufzeichnungen (Art. 12 AIA), die menschliche Aufsicht über das Produkt (Art. 14 AIA) und die Cybersicherheit (Art. 15 AIA) zu erfüllen. 

Die (nahezu) pauschale Einordnung aller KI-Medizinprodukte als „Hochrisiko-KI-Systeme“ scheint folglich nicht sachgerecht. Zwar wird in Erwägungsgrund 31 des AIA klargestellt, dass nur, weil ein (Medizin)produkt als „hochriskant“ im Sinne des AIA eingestuft wird, von diesem Produkt nicht automatisch auch ein hohes Risiko im Rahmen seiner Anwendung ausgeht. Womöglich sollte aber genau dieser Umstand stärker in die Betrachtung einbezogen werden. Denn so scheint es nicht angemessen, bspw. einem Hersteller, dessen Produkt lediglich selbstständig Daten auswertet, die gleichen (Hochrisiko-)Vorschriften nach AIA aufzuerlegen wie einem Hersteller, dessen Produkt selbständige Operationstätigkeiten am Patienten durchführt und somit in der Anwendung weitaus gefährlicher ist.

Es droht eine doppelte Nachmarktkontrolle für KI-Medizinprodukte

Medizinproduktehersteller sind im Rahmen des Vigilanz-Systems der MDR zudem strengen Nachmarktkontrollen hinsichtlich gesundheitsbezogener Risiken ihrer Produkte unterworfen. Die Hersteller treffen hierbei umfangreiche Überwachungspflichten in Bezug auf Sicherheit, Qualität und Leistung ihrer Produkte, wobei diesbezüglich auch eine Überwachung seitens der zuständigen Behörde erfolgt. Bei Nichtkonformität der Produkte drohen schlimmstenfalls Rückrufe durch die Hersteller selbst (Art. 10 Abs. 12 MDR) oder durch die zuständigen Behörden (Art. 95 Abs. 4 MDR). 

Ebenfalls strengen Nachmarktkontrollen sind Hersteller unterworfen, die mit ihren Produkten in den Anwendungsbereich des AIA fallen – bspw. Hersteller von KI-Medizinprodukten. Die Befugnisse der Marktüberwachungsbehörden reichen hierbei gem. Art. 65 i.V.m. 67 Abs. 1 AIA erneut bis zur Aufforderung zum Rückruf des Produkts. Herstellern von KI-Medizinprodukten droht somit eine doppelte Nachkontrolle (gemäß AIA und MDR), wobei beide Male als ultima ratio der Rückruf drohen kann. In Anbetracht des enorm hohen Sicherheitsstandards des Vigilanz-Systems der MDR scheint eine derartige (doppelte) Nachkontrolle jedoch sachlich nicht gerechtfertigt.

Zudem unterscheiden sich auch die Voraussetzungen für ein behördliches Eingreifen. Im Unterschied zur MDR, welche für den Rückruf ein „unvertretbares Risiko für die Gesundheit oder Sicherheit“ erfordert (Art. 94 Abs. 1 MDR), gestattet es AIA der Behörde, den Rückruf bereits anzuordnen, wenn „Aspekte des Schutzes öffentlicher Interessen“ berührt sind (Art. 67 Abs. 1 AIA). Die Schwelle für einen behördlichen Eingriff ist im Rahmen des AIA somit deutlich niedriger angesetzt, als es im Rahmen der MDR der Fall ist. Es besteht somit die Gefahr, dass das eigens auf die Schutzbedürftigkeit der Patienten zugeschnittene (Rückruf )System der MDR mit Hilfe des AIA umgangen wird.

Fazit

Neben den soeben aufgezeigten Problemen wirft der Entwurf des AIA noch eine ganze Reihe weiterer Fragen auf, die derzeit noch nicht vollständig beantwortet sind. Jedoch hat die EU bereits angekündigt, Ende November 2021 einen (nachgebesserten) Verordnungsentwurf vorstellen zu wollen. Es bleibt somit abzuwarten, ob dieser geeignet ist, auch für den Bereich der KI Medizinprodukte die erhoffte Klarheit zu schaffen, oder ob die derzeitigen Rechtsunsicherheiten weiterhin bestehen bleiben.