Seit Februar 2025 sind die Verbote des AI Acts offiziell in Kraft. Die Versicherungswirtschaft ist nun gefordert, ihre KI-gestützten Prozesse im Lichte der neuen Vorgaben zu überprüfen. Die von der Europäischen Kommission veröffentlichten Leitlinien bieten hierfür eine wertvolle Auslegungshilfe.
Was müssen Versicherungsunternehmen im Hinblick auf den AI Act beachten?
Bonitäts- und Risikobewertung als Hochrisiko-KI
Der Einsatz von KI-basierten Bewertungssystemen, wie sie beispielsweise zur Bonitäts- oder Risikobewertung im Bereich der Kranken- und Lebensversicherung eingesetzt werden, kann ein sog. Hochrisiko-KI-System sein. Für den Einsatz von Hochrisiko-KI-Systemen sieht die KI-Verordnung besondere Pflichten sowohl für Anbieter als auch Betreiber vor.
Als besonders kritisch sind vor allem KI-basierte Systeme anzusehen, die Bewertungen im Zusammenhang mit bestimmten grundlegenden staatlichen Leistungen vornehmen, etwa ob eine derartige Leistung gewährt wird, oder ob ein Anspruch rechtmäßig besteht. Solche Bewertungen können erhebliche Auswirkungen auf die Lebensgrundlage der Betroffenen haben. Darüber hinaus sind auch KI-Systeme, die zur Bewertung der Bonität und Kreditwürdigkeit natürlicher Personen eingesetzt werden, als Hochrisiko-KI einzustufen, da sie unter Umständen den Zugang dieser Personen zu bestimmten grundlegenden Dienstleistungen einschränken können und die Gefahr einer Diskriminierung nicht ausgeschlossen werden kann.
Ein Bezug zu den verbotenen KI-Systemen besteht insbesondere dann, wenn Bonitäts- oder Risikobewertungen auf sensiblen Merkmalen wie ethnischer Herkunft, politischer Meinung oder sexueller Orientierung beruhen. In solchen Fällen kann ein Verstoß gegen das Verbot sozialer Bewertung („social scoring“) oder manipulativer Beeinflussung vorliegen – vor allem, wenn die Entscheidungsfreiheit der Betroffenen unzulässig eingeschränkt wird.
Verbotenes Social Scoring
Bei derartigen Bewertungssystemen kann es sich unter Umständen sogar um unzulässiges Social Scoring handeln. Dies ist insbesondere dann der Fall, wenn die Einstufung auf dem sozialen Verhalten oder persönlichen Merkmalen beruht und zu einer Benachteiligung in sozialen Kontexten führt, die jedoch in keinem sachlichen Zusammenhang mit dem ursprünglichen Zweck der Datenerhebung stehen. Darunter fallen auch gleichartige System, deren Auswirkungen auf das soziale Verhalten der betroffenen Personen ungerechtfertigt oder unverhältnismäßig sind.
Das Verbot des Social Scoring gilt sowohl für öffentliche als auch für private Stellen, da solche Systeme nicht nur im öffentlichen Sektor (wegen des Machtungleichgewichts), sondern auch im privaten Sektor weitreichende Folgen haben können. Dies betrifft insbesondere Fälle, in denen personenbezogene Daten zur Bewertung oder Einstufung von Personen in einem sozialen Kontext herangezogen werden, der mit dem ursprünglichen Zweck der Datenerhebung nicht in Zusammenhang steht.
Ein Beispiel aus dem Versicherungsbereich: Wenn ein Unternehmen finanzielle oder verhaltensbezogene Daten über Kund:innen sammelt, die für die Beurteilung der Eignung für eine Lebensversicherung nicht relevant sind, und diese dennoch zur Festlegung der Versicherungsprämie verwendet, könnte dies ein unzulässiges Social Scoring darstellen – insbesondere dann, wenn daraus unverhältnismäßige oder diskriminierende Benachteiligungen resultieren.
Ausnahmen vom Verbot des Social Scorings
Die KI-Verordnung stellt jedoch klar, dass sie nicht als Innovationshemmnis wirken soll. Versicherer – können vom Einsatz konformer und sicherer KI-Systeme profitieren, sofern diese kein hohes Risiko für natürliche oder juristische Personen darstellen.
Abgesehen von den oben beschriebenen Fällen, in denen eine Bewertung natürlicher Personen unzulässig ist, bleiben rechtmäßige Bewertungen, die einem legitimen Zweck dienen und im Einklang mit dem Unionsrecht sowie nationalem Recht erfolgen, weiterhin zulässig. Dazu zählen insbesondere Kredit- und Risikobewertungen als zentrale Bestandteile der Versicherungsdienstleistungen. Auch KI-gestützte Verfahren zur Effizienzsteigerung, Qualitätsverbesserung oder zur zügigeren Bearbeitung von Leistungsansprüchen sind grundsätzlich erlaubt, sofern sie den Vorgaben der KI-Verordnung sowie sonstiger einschlägiger EU- und nationaler Vorschriften entsprechen.
Ebenso sollten KI-Systeme, die Versicherungsunternehmen etwa zur Betrugsbekämpfung oder zur Erfüllung aufsichtsrechtlicher Anforderungen einsetzen, regelmäßig nicht als verbotene KI-Systeme im Sinne der Verordnung eingestuft werden – vorausgesetzt, ihre Nutzung bleibt verhältnismäßig und rechtlich fundiert.
Manipulatives Marketing oder Ausnutzung der „Digital Illiteracy“
Verboten sind nach der KI-Verordnung auch KI-Systeme, die die Verletzlichkeit oder Schutzbedürftigkeit bestimmter Personen oder Personengruppen in manipulativer Weise ausnutzen. Darunter fallen etwa Systeme, die gezielt auf ältere Menschen oder andere vulnerable Gruppen abzielen, um ihnen besonders teure oder unnötige Produkte zu verkaufen – etwa im Bereich medizinischer Leistungen oder Versicherungen. Wird beispielsweise die eingeschränkte kognitive Leistungsfähigkeit oder mangelnde digitale Kompetenz betroffener Personen ausgenutzt, kann dies zu erheblichen finanziellen Nachteilen, Verschuldung oder anderen Belastungen führen.
Auch KI-gestützte Preisdifferenzierung bei grundlegenden Dienstleistungen – etwa im Versicherungsbereich – kann problematisch sein, wenn sie gezielt die sozioökonomische Lage einzelner Personen ausnutzt und zu systematisch höheren Prämien für benachteiligte Gruppen führt. Solche Praktiken können unter das Verbot manipulativer KI-Systeme fallen, insbesondere wenn sie darauf abzielen, die Entscheidungsfreiheit von Personen in unzulässiger Weise zu beeinflussen.
Zusammenschau mit anderen Vorschriften
Das Verbot schädlicher, ausbeuterischer und irreführender KI-Praktiken nach der KI-Verordnung gilt ergänzend zu bestehenden Transparenzpflichten im Versicherungsvertrieb, im Verbraucherschutz sowie im Rahmen der Vorgaben zur Vermeidung irreführender oder vergleichender Werbung.
Im Zusammenhang mit KI-gestützter Preisdifferenzierung sind zudem auch „Soft Law“-Instrumente zu berücksichtigen – etwa die Stellungnahmen der Europäischen Aufsichtsbehörde für das Versicherungswesen und die betriebliche Altersversorgung (EIOPA), die konkrete Leitlinien und Erwartungen für einen verantwortungsvollen KI-Einsatz im Versicherungssektor formulieren.
