18. September 2023
Künstliche Intelligenz (KI) begleitet die Gesellschaft bereits seit einigen Jahren. Gegenwärtig werden immer mehr Tools und Programme auch der breiten Öffentlichkeit zugänglich gemacht, die zu verschiedensten Zwecken wie Arbeit oder Unterhaltung genutzt werden können. Auch die Industrie nutzt KI basierte Produktionshilfen oder integriert KI in ihre Produkte. Hersteller von Medizinprodukten bilden hier keine Ausnahme. KI wird in der Medizinprodukteindustrie vielfältig eingesetzt. Die Europäische Kommission trägt dieser Entwicklung Rechnung und legte bereits im April 2021 einen Entwurf für eine „Verordnung zur Festlegung harmonisierender Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union“ vor. Dass sich die Kommission für eine Verordnung und nicht für eine Richtlinie entschieden hat, zeigt, dass sie der Notwendigkeit einer EU-weit einheitlichen Regelung große Bedeutung beimisst.
Doch was würde sich durch diese Verordnung konkret für Hersteller, Händler, Importeure von Medizinprodukten und in-vitro-Diagnostika ändern?
Der Entwurf definiert erstmals den Begriff der künstlichen Intelligenz in einem einheitlichen europäischen Kontext. Art. 3 Nr. 1 des Entwurfs enthält eine Legaldefinition: „System der künstlichen Intelligenz“ (KI-System) [ist] eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren“.
Die Kommission wählte hiermit eine sehr weite Definition, die keine bestimmten Technologien in Bezug nimmt. Dadurch soll dem generellen Problem der Gesetzgebung begegnet werden, dass diese regelmäßig durch neue Technologien überholt wird, während die langwierigen Gesetzgebungsverfahren verhindern, dass mit dem technischen Fortschritt mitgehalten werden kann. Konkretisiert wird die Definition jedoch durch die in Anhang I des Vorschlags aufgeführten Techniken und Konzepte, wie maschinelles Lernen, Deep-Learning, Logik- und wissensgestützte Konzepte und wissenschaftliche Methoden. Problematisch könnte im Rahmen dieser weiten Definition jedoch werden, dass dieser sehr weite sachliche Anwendungsbereich dazu führt, dass jegliche Verfahren und Methoden der herkömmlichen Programmierung mit geringem Risikopotenzial, unter Art. 3 Nr. 1 des Entwurfs fallen, womit medizinische Software umfassend unter diese Verordnung fallen würde. Dies könnte im Ergebnis zu Rechtsunsicherheit darüber führen, welches Regelwerk auf welche Software anzuwenden ist.
Auch Medizinprodukte sind durch den Entwurf betroffen. Art. 6 Abs. 1 in Verbindung mit Anhang II des Entwurfs ordnet Produkte, die die dort aufgeführten Bedingungen erfüllen, unter „Hochrisiko-KI-Systeme“ ein. Sowohl die Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 über Medizinprodukte (MDR) und Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates vom 5. April 2017 über In-vitro-Diagnostika (IVDR) sind in Anhang II Abschnitt A Nr. 11 und Nr. 12 infolge ihrer Harmonisierungsrechtsvorschriften aufgeführt. Liegt ein Medizinprodukt vor, das mittels KI betrieben wird oder KI-Komponenten enthält, ist dieses der Risikoklasse IIa oder höher zuzuordnen und ist infolge dessen eine Benannte Stelle in die Konformitätsbewertungsverfahren einzubeziehen, handelt es sich bei diesem Medizinprodukt um ein Hochrisiko-KI-System im Sinne des Entwurfs. Mit Blick auf die Neuerungen durch die MDR und die IVDR sind insbesondere Softwares regelmäßig höher zu klassifizieren als unter der bisherigen Rechtslage, weshalb im Ergebnis regelmäßig auch von dem Vorliegen eines Hochrisiko-KI-Systems im Sinne des Verordnungsentwurfs auszugehen ist.
Die Verordnung sieht bei Hochrisiko-KI-Systeme weitreichende Anforderungen an das Risikomanagementsystem inkl. Testverfahren, technische Dokumentationen und Aufzeichnungspflichten, Transparenz und Bereitstellung von Informationen für Nutzer, Etablierung einer menschlichen Aufsicht, sowie die Umsetzung der Prinzipien der Genauigkeit, Robustheit und Cybersicherheit vor. Zudem finden sich im Entwurf nicht nur Anbieterpflichten, sondern auch spezifische Pflichten für die Einführer, Händler und sogar für die Nutzer solcher Systeme. Der KI-VO-E greift im Vergleich zur MDR und IVDR neue Anforderungen auf. Dies wird im Ergebnis zu einer erheblichen Mehrbelastung der App-Entwickler im Konformitätsbewertungsverfahren führen.
Wirtschaftsakteure im Sinne der MDR und IVDR müssen bereits zahlreiche Anforderungen und Pflichten aus diesen Verordnungen im Blick behalten, worunter u.a. auch Anforderungen an Risikomanagementsysteme und Dokumentation fallen. Die stellenweise Überschneidung der Anforderungen zwischen der MDR, IVDR und der neuen KI-Verordnung soll dadurch aufgelöst werden, dass die Sicherheitsrisiken der KI-Systeme den Anforderungen des Entwurfs unterliegen, während die Sicherheit des Produkts insgesamt nach der MDR geprüft wird.
Art. 43 des Entwurfs regelt für Hochrisiko-KI-Systeme verschiedene Konformitätsbewertungsverfahren. Anbieter von Hochrisiko-KI-Systemen müssen nachweisen, dass sie die Anforderungen nach der Verordnung erfüllen. Relevant für die Konformitätsbewertung von Medizinprodukten ist dabei Abs. 3 der Regelung. Danach richtet sich die Konformitätsbewertung für Hochrisiko-KI-Systemen, die unter die in Anhang II Abschnitt A aufgeführten Rechtsakte fallen, auch nach diesen Rechtsakten. Sowohl die MDR als auch die IVDR sind in diesem Anhang unter Abschnitt A, Nrn. 11 und 12 aufgeführt. Der Anbieter muss daher die einschlägigen Konformitätsbewertungsverfahren nach MDR bzw. IVDR befolgen. Nach diesem Absatz sollen die Benannten Stellen, die gemäß MDR benannt sind, auch berechtigt sein, die Konformität von Hochrisiko-KI-Systeme mit den Anforderungen des Verordnungsentwurfs zu kontrollieren und damit „notifizierte Stelle“ im Sinne des Verordnungsentwurfs darstellen können. Im Ergebnis ist somit weiterhin lediglich ein Konformitätsbewertungsverfahren für KI-Medizinprodukte nach den Anforderungen der MDR durchzuführen, das zusätzlich die Erfüllung der Anforderungen des Verordnungsentwurfs sicherzustellen hat. Die Benannten Stellen müssen dabei aber über ausreichende interne Kompetenzen verfügen, um die von externen Stellen in ihrem Namen wahrgenommenen Aufgaben wirksam beurteilen zu können. Daraus kann im Extremfall eine Doppelbefassung jeweils einer Benannten Stelle nach der MDR/IVDR und einer notifizierten Stelle nach der Verordnung folgen, wenn die Benannten Stellen nach der MDR/IVDR diese Kapazitäten und Expertise nicht aufbringen können.
Insoweit müssen alle Akteure frühzeitig sicherstellen, dass neben den Anforderungen der MDR bzw. IVDR an Medizinprodukte - und insbesondere auch darunter fallende Software -, diejenigen darüberhinausgehenden der zukünftigen Verordnung eingehalten werden. Insbesondere muss geprüft werden, ob die verwendete KI den Sicherheitsanforderungen entspricht, während interne Prozesse und Produkte hieran angepasst werden.
Infolge all dieser Maßnahmen müssen sich alle beteiligten Akteure auf nicht unerhebliche Mehrkosten einstellen. Die Kommission geht nach ihren Berechnungen von Kosten in Höhe von etwa EUR 6.000 bis EUR 7.000 für die Einhaltung dieser Anforderungen für die Bereitstellung eines durchschnittlichen Hochrisiko-KI-Systems im Wert von etwa EUR 170.000 aus. Zudem fallen Kosten für die menschliche Aufsicht in Höhe von etwa EUR 5.000 EUR bis EUR 8.000 pro Jahr an. Für Lieferanten von Hochrisiko-KI könnten zudem Überprüfungskosten in Höhe von EUR 3.000 EUR bis EUR 7.500 EUR anfallen. Ob sich diese Berechnungen bewahrheiten werden oder nicht sogar noch höhere Kosten anfallen, bleibt abzuwarten.
Die Einbettung von KI in Medizinprodukte führt einerseits zu einer größeren und durchgehend erweiterbaren Funktionsfähigkeit von Medizinprodukten. Andererseits werden dementsprechend jedoch auch die Anforderungen an die Funktionalität und insbesondere Sicherheit erhöht und die Haftungsrisiken sowie die Kostenbelastung für alle Wirtschaftsakteure größer.