Regulierung der Verwendung von Big Data und KI durch Versicherungsunternehmen

Im Versicherungssektor besteht ein zunehmendes Interesse am Einsatz von Big Data und künstlicher Intelligenz (Big Data und Artificial Intelligence (AI) – kurz: „BDAI“). Rück- und Erstversicherungsunternehmen sehen hierin die Chance und zunehmend auch das Geschäftserfordernis im Wettbewerb, die (Rück-)Versicherbarkeit von Risiken durch den Einsatz von BDAI besser einschätzen zu können. Angesichts des voranschreitenden Klimawandels gilt dies insbesondere in Bezug auf die Einschätzung von Naturgefahrenrisiken. Zudem kann der Einsatz von BDAI die (Rück-)Versicherungsunternehmen dabei unterstützen, neue (Rück-)Versicherungsprodukte zu entwickeln bzw. bereits bestehende (Rück-) Versicherungsprodukten zu verbessern. Nicht zuletzt kann die Nutzung von BDAI zur Schaffung neuer Ökosysteme – insbesondere bei der effizienteren Gestaltung und Ausführung der Schadenbearbeitung und auch im Versicherungsvertrieb – beitragen. Der Einsatz von BDAI durch Versicherungsunternehmen bringt jedoch nicht nur neue Geschäftschancen, sondern auch Rechtsfragen der Versicherungsaufsicht mit sich: Der aktuelle Vorschlag einer neuen KI-Verordnung durch die EU-Kommission vom 21. April 2021 bezweckt Rechtsharmonisierung und Rechtssicherheit und teilt AI nach ihrer Auswirkung auf Grundrechte, Sicherheit und Privatsphäre ein. Explizit an die (Rück-)Versicherungsunternehmen gerichtete Anforderungen sind darin nicht zu finden. Ausgangspunkt der KI-Verordnung ist die Gliederung von KI-gestützten Lösungen entsprechend ihres Risikos in vier Kategorien: „unannehmbar, hoch, gering und minimal.“ Die Kategorie „hohes Risiko“, bei der es um Anwendungen geht, die Personendaten verarbeiten, dürfte für Versicherer besonders relevant sein: insbesondere etwa bei der Analyse von Vertragsdaten und damit der Daten der Versicherungsnehmer, zum einen Industrieunternehmen, zum anderen aber auch natürliche Personen. Ein „geringes Risiko“ besteht bei interaktiven Tools, die klar als Software erkennbar sind und bei denen die Nutzer:innen eigenverantwortlich und frei über den Einsatz entscheiden. Hierzu zählen die inzwischen von den meisten deutschen Versicherungsunternehmen im Kundenservice verwendeten Chatbots. Parallel zur EU-Kommission hat eine durch die EU-Versicherungsaufsichtsbehörde EIOPA (European Insurance and Occupational Pensions Authority) eingesetzte Sachverständigengruppe am 17. Juni 2021 mit dem Papier„Artificial intelligence governance principles: towards ethical and trustworthy artificial intelligence in the European insurance sector“ Leitlinien der EIOPA veröffentlicht, die sechs beim Einsatz von AI zu berücksichtigenden Governance-Prinzipien erläutern: das Proportionalitätsprinzip, das Prinzip der Fairness und Nichtdiskriminierung, das Prinzip der Transparenz und Erklärbarkeit, das Prinzip der Beaufsichtigung durch Menschen, das Prinzip der Beachtung des EU-Datenschutzrechts und das Prinzip der Robustheit und Leistungsfähigkeit von AI. Die deutsche Versicherungsaufsichtsbehörde BaFin (Bundesanstalt für Finanzdienstleistungs-aufsicht) betrachtet BDAI schön länger als Teil ihrer Aufsicht (s. BaFin-Studie „Big Data trifft auf künstliche Intelligenz“ aus 2018). Technisch definiert die BaFin den Begriff AI in dieser Studie „als Kombination aus großen Datenmengen (Big Data), Rechenressourcen und maschinellem Lernen (Machine Learning – ML).“ Laut BaFin bedeutet maschinelles Lernen, dass Computern auf Basis spezieller Algorithmen die Fähigkeit verliehen wird, aus Daten und Erfahrungen zu lernen. Unter Algorithmen versteht die BaFin Handlungsvorschriften, die in der Regel in ein Computerprogramm integriert sind und ein (Optimierungs-)Problem oder eine Klasse von Problemen lösen. In ihrer aktuellen Veröffentlichung „Big Data und künstliche Intelligenz: Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen“ vom 15. Juni 2021 erklärt die BaFin, dass es aus ihrer Sicht bislang keine trennscharfe Definition von AI gibt und formuliert Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen von Finanzunternehmen. In Bezug auf die Entwicklungsphase von AI werden Anforderungen beschrieben, wie der Algorithmus ausgewählt, kalibriert und validiert werden soll. In Bezug auf die Anwendungsphase sind die Ergebnisse des Algorithmus durch die Finanzunternehmen zu interpretieren und in Entscheidungsprozesse einzubinden. In diesem Zusammenhang äußert sich die BaFin zu (i) dem konzeptionellen Rahmen, (ii) den übergeordneten Prinzipien für die Verwendung von Algorithmen in Entscheidungsprozessen, (iii) den spezifischen Prinzipien für die Entwicklungsphase und (iv) den spezifischen Prinzipien für die Anwendungsphase und nennt jeweils auch konkrete Use Cases.  

Konzeptioneller Rahmen

• Keine generelle Billigung von Algorithmen durch die BaFin: Algorithmenbasierte Entscheidungsprozesse werden von der BaFin nicht grundsätzlich gebilligt. Stattdessen will die BaFin diese Prozesse risikoorientiert und anlassbezogen zum Beispiel bei Erlaubnisverfahren (insbesondere für InsurTechs), aber auch in der laufenden Aufsicht, prüfen und ggf. beanstanden.
• Umfang der Aufsicht: Die Beaufsichtigung von algorithmischen Entscheidungsprozessen soll einen risikoorientierten, proportionalen und technologieneutralen Ansatz verfolgen. Eine intensivere Aufsicht sei dann angebracht, wenn mit dem Einsatz eines Algorithmus in Entscheidungsprozessen (zusätzliche) Risiken verbunden sind, insbesondere bei Versicherungsunternehmen.

Übergeordneten Prinzipien für die Verwendung von Algorithmen in Entscheidungsprozessen

• Klare Verantwortung der Geschäftsleitung: Die Geschäftsleitung ist verantwortlich für die unternehmensweiten Strategien und Leitlinien bzw. Richtlinien zum Einsatz von algorithmenbasierten Entscheidungsprozessen. Für materielle unternehmerische Entscheidungen ist der Vorstand demnach stets selbst verantwortlich, auch dann, wenn sie auf Algorithmen fußen. Dies setzt zum einen ein adäquates technisches Verständnis bei der Geschäftsleitung voraus und erhöht somit die „Fit and Proper“-Anforderungen. Zum anderen müssen die Berichtslinien und Berichtsformate so gestaltet sein, dass eine risikoadäquate und adressatengerechte Kommunikation gesichert ist.
• Adäquates Risiko- und Auslagerungsmanagement: Es ist Aufgabe der Geschäftsleitung, ein an den Einsatz von algorithmenbasierten Entscheidungsprozessen adaptiertes Risikomanagement zu etablieren. Werden Anwendungen von einem Dienstleister eingekauft, hat die Geschäftsleitung ein betreffendes effektives Auslagerungs- bzw. Ausgliederungsmanagement einzurichten. Hierbei sind Verantwortungs-, Berichts- und Kontrollstrukturen klar festzulegen. Die sonstigen bereits bestehenden aufsichtsrechtlichen Anforderungen (z.B. an die Ausgliederung in die Cloud) bleiben unberührt. Als Use Case wird die Anwendung von Telematik-Tarifen in der Kfz-Versicherung genannt.
• Bias vermeiden: Vage bleibt die BaFin bei der Aussage, dass bei algorithmenbasierten Entscheidungsprozesse Bias, also die systematische Verzerrung von Ergebnissen, vermieden werden müssen. Dabei wird es nach dem Verursacherprinzip insbesondere darauf ankommen zu analysieren, wo ein Bias überhaupt auftritt oder auftreten kann. Dies kann in der Praxis durchaus schwierig sein.
• Gesetzlich untersagte Differenzierung ausschließen: Bestimmte Merkmale dürfen nicht zur Differenzierung – also zur Risiko- und Preiskalkulation – herangezogen werden. Gefordert wird insbesondere, dass Unternehmen (statistische) Überprüfungsprozesse etablieren, die Diskriminierung ausschließen.

Spezifische Prinzipien für die Entwicklungsphase

• Datenschutzregeln beachten: Jede Verwendung von Daten in algorithmenbasierten Entscheidungsprozessen muss konform sein mit den geltenden Datenschutzbestimmungen.
• Korrekte, robuste und reproduzierbare Ergebnisse sicherstellen: Das übergeordnete Ziel ist, korrekte und robuste Ergebnisse sicherzustellen. Die Ergebnisse eines Algorithmus sollten reproduzierbar sein. Der Anwender sollte also zum Beispiel bei einer späteren Überprüfung durch einen unabhängigen Dritten in der Lage sein, die Ergebnisse zu reproduzieren.
• Dokumentation zur internen und externen Nachvollziehbarkeit: Eine hinreichende Dokumentation ist Voraussetzung dafür, dass Algorithmen und die zugrundeliegenden Modelle überprüft werden können.
• Angemessene Validierungsprozesse: Jeder Algorithmus sollte vor Übernahme in den operativen Betrieb einen angemessenen Validierungsprozess durchlaufen.

Spezifische Prinzipien für die Anwendung

• „Putting the human in the loop“: Die Beschäftigten sollten in die Interpretation und Verwertung der algorithmischen Ergebnisse für die Entscheidungsfindung angemessen eingebunden werden. Wie stark sie eingebunden werden, sollte davon abhängen, wie geschäftskritisch der Entscheidungsprozess ist und mit welchen Risiken er behaftet ist. Als Use Case wird das Sanktionsscreening in der Geldwäscheerkennung angeführt.
• Intensive Freigabe- und Feedbackprozesse: Bei der Verwendung algorithmisch erzeugter Ergebnisse in Entscheidungsprozessen sollen vorab die Situationen klar definiert sein, die einen intensiveren Freigabeprozess nach sich ziehen.
• Etablierung von Notmaßnahmen: Unternehmen sollen Maßnahmen vorsehen, mit denen sich der Geschäftsbetrieb aufrechterhalten ließe, falls es zu Problemen bei algorithmenbasierten Entscheidungsprozessen kommt. Das gilt zumindest für geschäftskritische Anwendungen.
• Laufende Validierung, übergeordnete Evaluation und entsprechende Anpassung: In der praktischen Anwendung müssen Algorithmen laufend validiert werden, um die Funktionalität und Abweichungen anhand von festgelegten Parametern zu überprüfen und ggf. Anpassungen vorzunehmen. Die Validierung ist laut BaFin besonders dann notwendig, wenn neue oder unvorhergesehene interne oder externe Risiken auftreten, die bei der Erstellung der Algorithmen nicht berücksichtigt werden konnten.

Die BaFin will nennt diese Prinzipien selbst „vorläufige Überlegungen zu aufsichtlichen Mindestanforderungen für den Einsatz von künstlicher Intelligenz“. Sie sollen eine Diskussionsgrundlage für den Austausch mit diversen Stakeholdern bieten und sind ausdrücklich in die vorstehend erwähnten internationalen Regulierungsvorhaben eingebettet.