Autoren

Dr. Daniel Tietjen

Partner

Read More

Ennio Schwind, LL.M. Eur.

Associate

Read More
Autoren

Dr. Daniel Tietjen

Partner

Read More

Ennio Schwind, LL.M. Eur.

Associate

Read More

21. März 2023

Digital Health 360° – 10 von 27 Insights

KI-Software ChatGPT – in Wirklichkeit ein Medizinprodukt?

  • Briefing

Künstliche Intelligenz (KI) ist in aller Munde, spätestens seit die von OpenAI veröffentlichte Software „ChatGPT“ der breiten Öffentlichkeit zur Verfügung steht. Diese Software ist in der Lage, selbständig Texte zu produzieren, Gespräche mit dem Nutzer zu führen und auf beliebige Fragen des Nutzers Auskunft zu geben.

Dabei greift die Software auf im Internet verfügbare Daten zurück, die mit Hilfe künstlicher Intelligenz zu den vom Nutzer gewünschten Texten und Antworten zusammengesetzt werden. Die Antworten der Software klingen dabei fast menschlich, was die derzeitige Euphorie um ChatGPT erklärt.

Ist man sich beispielsweise unschlüssig, was man aus den im Kühlschrank verbliebenen Zutaten noch kochen könnte, nennt man die Zutaten der Software und erhält als Antwort nicht nur Vorschläge für Gerichte, sondern darüber hinaus auch eine Anleitung, wie diese zuzubereiten sind. Neben solch banalen Fragen, deren falsche Beantwortung durch die Software im Zweifelsfall nur zu einem ungenießbaren Abendessen führt, beantwortet ChatGPT jedoch auch Fragen aus dem medizinischen Bereich. Stellt man ChatGPT etwa die Frage „Ich habe Kopfweh. Was soll ich machen?“, so erhält man als Antwort: „Es tut mir leid zu hören, dass Sie Kopfschmerzen haben. Hier sind einige Tipps, die Ihnen helfen könnten: 1. Nehmen Sie ein Schmerzmittel: Falls Sie keine medizinischen Bedenken haben, können Sie ein Schmerzmittel wie Paracetamol oder Ibuprofen einnehmen. Achten Sie jedoch darauf, die empfohlene Dosierung nicht zu überschreiten. (…)“. Die Software schlägt somit eine konkrete Behandlung für die behaupteten Kopfschmerzen vor, sodass sich die Frage stellt, ob ChatGPT womöglich als Medizinprodukt zu qualifizieren ist.

Konsequenzen einer Einordnung von ChatGPT als Medizinprodukt

Die Konsequenz einer Einstufung von ChatGPT als Medizinprodukt wäre, dass ChatGPT ein Konformitätsbewertungsverfahren gemäß der EU-Verordnung 2017/745 (kurz: „MDR“) durchlaufen müsste. Dieses ist grundsätzlich unter Zuhilfenahme einer Benannten Stelle durchzuführen. Eine Ausnahme hiervon existiert lediglich für Medizinprodukte der MDR-Risikoklasse I, bei welchen die Hersteller die Konformitätsbewertungsverfahren selbst durchführen können. Bei Software, die als Medizinprodukt zu qualifizieren ist, ist jedoch in der Regel die MDR-Risikoklasse IIa einschlägig, da der für die Klassifizierung von Medizinprodukten maßgebliche Anhang VIII MDR (Regel 11) bestimmt, dass „Software, die dazu bestimmt ist, Informationen zu liefern, die zu Entscheidungen für diagnostische oder therapeutische Zwecke herangezogen werden“ zur Klasse IIa gehört. Dies wird in der Regel der Fall sein.

Bleibt die Frage zu beantworten, ob ChatGPT unter den Begriff des Medizinprodukts gemäß der MDR fällt. Die Definition eines Medizinprodukts findet sich vorliegend in Art. 2 Nr. 1 MDR. Dieser stellt dabei ausdrücklich klar, dass auch Software ein Medizinprodukt darstellen kann. Gemäß Art. 2 Nr. 1 MDR ist ein Medizinprodukt u. a. „(…) eine Software, (…) [die] dem Hersteller zufolge für Menschen bestimmt ist und allein oder in Kombination einen oder mehrere der folgenden spezifischen medizinischen Zwecke erfüllen soll: Diagnose, Verhütung, Überwachung, Vorhersage, Prognose, Behandlung oder Linderung von Krankheiten (…).“ Von dieser Definition erfasst ist sogenannte „Stand-alone Software“, also „eigenständige Software“, die – wie ChatGPT – ohne zugehörige Hardware in Verkehr gebracht wird.

Subsumiert man nun die von ChatGPT auf die Anfrage wegen Kopfschmerzen gegebene Antwort unter die Begriffsdefinition des Art. 2 Nr. 1 MDR, so stellt man fest, dass die Auskunft von ChatGPT jedenfalls zur „Behandlung oder Linderung von Krankheiten“ i.S.d. Art. 2 Nr. 1 MDR geeignet ist. Die Definition des Medizinprodukts scheint somit auf den ersten Blick erfüllt zu sein. Jedoch enthält Art. 2 Nr. 1 MDR noch eine weitere Komponente: Die sogenannte „Zweckbestimmung“. So handelt es sich nämlich nur dann um ein Medizinprodukt i.S.d. Art. 2 Nr. 1 MDR, wenn das Produkt (hier die Software ChatGPT) vom Hersteller (hier also OpenAI) dazu bestimmt ist, einen spezifischen medizinischen Zweck zu erfüllen. Im Unterschied zum Arzneimittelrecht, das grundsätzlich die nach der Verkehrsanschauung objektive Zweckbestimmung betrachtet, ist im Rahmen von Medizinprodukten die vom Hersteller vorgegebene subjektive Zweckbestimmung maßgeblich. Vereinfacht gesagt sind Medizinprodukte nur dann Medizinprodukte, wenn der Hersteller ihnen diese Eigenschaft auch zuschreibt.

Zweckbestimmung entscheidet über Einstufung als Medizinprodukt

In welchem Kontext der Hersteller dem Medizinprodukt seine Zweckbestimmung zuschreiben kann, ergibt sich wiederum aus der MDR. Diese definiert den Begriff der Zweckbestimmung in Art. 2 Nr. 12 MDR als „die Verwendung, für die ein Produkt entsprechend den Angaben des Herstellers auf der Kennzeichnung, in der Gebrauchsanweisung oder dem Werbe- oder Verkaufsmaterial bzw. den Werbe- oder Verkaufsangaben und seinen Angaben bei der klinischen Bewertung bestimmt ist“. Eine Einschränkung der rein subjektiven Zweckbestimmung wird jedoch in denjenigen Fällen vorgenommen, in denen der vom Hersteller bestimmte Zweck wissenschaftlich schlicht nicht haltbar ist. Ein Hersteller soll die Eigenschaft als Medizinprodukt und das damit einhergehende Konformitätsbewertungsverfahren schließlich nicht dadurch umgehen können, dass er eine Zweckbestimmung formuliert, die offensichtlich wissenschaftlich nicht mit der Funktion des Produkts übereinstimmt.

Fazit

Im vorliegenden Fall sind auf den ersten Blick keine Anhaltspunkte dafür ersichtlich, dass OpenAI z.B. im Rahmen seines Werbematerials den Zweck von ChatGPT auf die Diagnose, Vorbeugung, Überwachung, Vorhersage, Prognose, Behandlung oder Linderung von Krankheiten ausgerichtet hätte, wie es Art. 2 Nr. 1 MDR verlangt. Weder auf der Website von OpenAI noch an anderer Stelle lassen sich derartige Aussagen des Herstellers finden. Dort lässt sich lediglich die Aussage finden, dass ChatGPT dazu konzipiert wurde, aus diversen im Internet verfügbaren Textbausteinen selbst neue Texte zu generieren. Die für die Einstufung als Medizinprodukt erforderliche medizinische Zweckbestimmung durch den Hersteller ist daher bei ChatGPT grundsätzlich nicht gegeben, was gegen eine Einstufung als Medizinprodukt spricht. Angesichts der Antworten auf die Anfrage wegen Kopfschmerzen liegen jedoch Anhaltspunkte dafür vor, dass ChatGPT über den vom Hersteller bestimmten Zweck der reinen Textgenerierung hinaus auch medizinischen Rat erteilen kann. Ob damit aber bereits die Grenze der „wissenschaftlichen Haltbarkeit“ der Zweckbestimmung überschritten ist, muss im Zweifelsfall gerichtlich geklärt werden.

Übrigens: Fragt man ChatGPT selbst, ob es sich bei ChatGPT um ein Medizinprodukt handelt, erhält man die folgende Antwort: „Nein, ChatGPT ist kein Medizinprodukt, ChatGPT ist ein künstlicher Intelligenz-basierter Sprach-Modell-Service, der von OpenAI entwickelt wurde. Es ist kein medizinisches Gerät oder ein Produkt, das für die Diagnose, Behandlung oder Vorbeugung von Krankheiten oder medizinischen Zuständen verwendet wird. Es ist lediglich eine Textgenerierungsplattform.“

KI-Verordnung (AI-Act)

Alle relevanten und aktuellen Informationen zum AI-Act auf einen Blick!

Jetzt reinschauen
Jetzt reinschauen

In dieser Serie

Life Sciences & Gesundheitswesen

Beitragsserie: Digital Health 360°

von mehreren Autoren

Healthtech & Digital Health

Primärversorgungszentren | FAQ-Sammlung

1. March 2024

von Dr. Marina Schulte, Rica Nauschütte

Healthtech & Digital Health

Assistierte Telemedizin | FAQ-Sammlung

1. February 2024

von Dr. Marina Schulte

Daten & Cyber-Sicherheit

DSGVO-Compliance bei Digital Health Apps

21. September 2023

von Dr. Tim Jonathan Schwarz

Healthtech & Digital Health

Werbung für Fernbehandlung bei anerkanntem fachlichen Standard zulässig

Gründe des Urteils des Bundesgerichtshofs vom 9. Dezember 2021 veröffentlicht

15. February 2022

von Dr. Daniel Tietjen

Healthtech & Digital Health

BVDW Leitfaden Digitale Gesundheit 2030

Strategie zur digitalen Potentialentfaltung des Gesundheitswesens der Zukunft

7. July 2021

von Thanos Rammos, LL.M.

Healthtech & Digital Health

When Health and Technology meet Law – Digital Health @ Taylor Wessing

29. April 2021

von mehreren Autoren

Healthtech & Digital Health

Digital Health Start-Ups

„Best Practices” für das Vertragsmanagement ab Tag 1

22. April 2021

von mehreren Autoren

Healthtech & Digital Health

Digital Health 2021

26. January 2021

von mehreren Autoren

Healthtech & Digital Health

Das Krankenhauszukunftsgesetz

7. December 2020

Call To Action Arrow Image

Newsletter-Anmeldung

Wählen Sie aus unserem Angebot Ihre Interessen aus!

Jetzt abonnieren
Jetzt abonnieren

Related Insights

Healthtech & Digital Health

Pflicht für E-Rezept wird aufgrund fehlenden flächendeckenden Rollouts verschoben

30. März 2022
Briefing

von Dr. Daniel Tietjen

Klicken Sie hier für Details
Healthtech & Digital Health

Werbung für Fernbehandlung bei anerkanntem fachlichen Standard zulässig

Gründe des Urteils des Bundesgerichtshofs vom 9. Dezember 2021 veröffentlicht

15. Februar 2022
Briefing

von Dr. Daniel Tietjen

Klicken Sie hier für Details
Machine Learning

Artificial Intelligence Act (AIA) - Rechtliche Unsicherheit für Medizinproduktehersteller

22. November 2021
Briefing

von Dr. Daniel Tietjen und Dr. Niclas von Woedtke, MBA (Kellogg/ WHU)

Klicken Sie hier für Details