Der Artificial Intelligence Act (AI Act) der EU befindet sich derzeit im sogenannten Trilog-Verfahren, in dem EU Parlament, Rat und EU Kommission eine beschlussfähige Fassung abstimmen. Die Verordnung soll die Entwicklung, den Einsatz und die Nutzung von KI-Systemen in der EU regeln. Ziel ist, den AI Act noch in dieser Legislaturperiode zu verabschieden. Welche Anforderungen an die Versicherungswirtschaft sind damit verknüpft? Fragen an Prof. Dr. Domenik Wendt, Professor für Bürgerliches Recht, Europäisches Wirtschaftsrecht und Europarecht an der Frankfurt University of Applied Sciences.

Mit dem AI Act stellt die EU ein weltweit einmaliges rechtliches Rahmenwerk für die Entwicklung, den Einsatz und die Nutzung von Künstlicher Intelligenz auf. Was bedeutet das für die Versicherungswirtschaft?

Wendt: Vielleicht zunächst ein paar Gedanken zum Hintergrund der Gesetzesinitiative: Der AI Act adressiert die Grundrechte der Unionsbürger:innen und versucht diese auch bei dem Einsatz von KI-Systemen zu schützen. Die EU Kommission hat hierfür einen sektorübergreifenden, risikobasierten Regulierungsansatz gewählt: Risiko bedeutet hierbei die Gefahr, die Grundrechte der Unionsbürger:innen zu verletzten – und je höher dieses mit KI-Systemen verbundene Risiko ist, desto stärker möchte der Gesetzgeber zum Schutz der Unionsbürger:innen eingreifen.

KI Systeme, die Grundrechte zu stark gefährden oder verletzen, werden daher verboten. Denken Sie hierbei etwa an KI-Systeme, die Social Scoring ermöglichen. Das soll es in der EU schlicht nicht geben.

Zudem identifiziert der EU-Gesetzgeber KI-Systeme, die zwar sehr hilfreich sein können, deren Nutzung aber zugleich ein hohes Risiko birgt. Die Herstellung und Nutzung dieser KI-Systeme möchte die EU zulassen, allerdings nur, wenn diese Systeme auch hohe regulatorische Anforderungen erfüllen, wie etwa Dokumentationspflichten und eine Vorabkontrolle. Für diese KI-Syteme werden derzeit auch Standards entwickelt.

Bei KI-Systemen, die mit Menschen interagieren, etwa Chatbots, existiert aus Sicht des Gesetzgebers zudem ein Transparenzrisiko. Daher soll hier sichergestellt werden, dass Nutzer:innen stets erkennen, dass sie mit einer Künstlichen Intelligenz kommunizieren.

Im Fall von KI-Systemen mit kleinem oder gar keinem Risiko appelliert der AI Act an die Wirtschaft, dafür selbst Leitlinien zu erstellen. Dies könnte etwa eine Aufgabe von Branchenverbänden sein. Vereinzelt gibt es aber auch bereits Unternehmen, die eigene Leitlinien im Umgang mit KI-Systemen entwickeln.

Spätestens seit Bekanntwerden von ChatGPT diskutiert der EU-Gesetzgeber zudem intensiv über geeignete Vorgaben für sog. generative KI und Foundation Models, die für eine Vielzahl von Anwendungsfällen in Frage kommen.

Was bedeutet das nun alles für die Versicherungswirtschaft: Weil der AI Act einem sektorübergreifenden Regulierungsansatz folgt und auch die Anwender von KI-Systemen in den Blick nimmt, ist das neue Regelwerk grundsätzlich für alle Branchen relevant, in den KI-Systeme Einsatz finden.

Nun ist die Versicherungswirtschaft mit ihren großen Datenbeständen geradezu prädestiniert für den Einsatz von KI-Systemen. Will man diese Systeme in Versicherungsunternehmen zukünftig nutzen, ist daher zu prüfen, ob die gesetzlichen Anforderungen erfüllt werden. Bei Hochrisiko-KI-Systemen sind das eine ganze Menge. Es steht zu erwarten, dass die Anforderungen an generative KI und Foundation Models ebenfalls durchaus anspruchsvoll werden.

Wer wird in den Unternehmen den Einsatz von KI-Systemen verantworten?

Wendt: Nach dem Aufsichtsrecht trägt die Letztverantwortung immer der Vorstand. Dieser kann Aufgaben im gesetzlichen Rahmen natürlich auch delegieren. Einige größere Versicherungsunternehmen haben bereits erklärt, dass sie KI-Spezialisten in Fachabteilungen beschäftigen, die sich etwa damit befassen, wie Daten strukturiert aufzubereiten sind, damit KI-Systeme damit arbeiten können. Andere berichten bereits über erste Einsatzfelder in der Schadenbearbeitung. Neben dem hierfür erforderlichen technischen Knowhow sind – wie häufig im regulierten Markt – möglichst umfassende rechtliche Kenntnisse notwendig. Hier sind neben den Fachabteilungen auch die Rechtsabteilungen sowie Mitarbeiter:innen im Bereich Compliance gefragt.

Einmal abgesehen von der innerbetrieblichen Kommunikation, die einen geplanten Einsatz von KI idealerweise begleiten sollte: Wie bereiten Unternehmen den Einsatz bestmöglich vor?

Wendt: Dazu höre ich immer wieder: Unternehmen sollten sich jetzt mit Künstlicher Intelligenz, mit KI-Systemen beschäftigen und versuchen, deren Potenzial für sich zu identifizieren. Einfach ausprobieren, mit einem Chatbot oder auch einem ausgereifteren System – nur so kann man den Umgang damit lernen. Ich denke, daran ist viel richtig. Einige Unternehmen machen das auch bereits in unterschiedlichen Ausprägungen, haben Ressourcen bereitgestellt, zum Teil eigene Projektgruppen und Abteilungen aufgebaut. Die beste Vorbereitung ist, sich genau jetzt mit dem Thema zu beschäftigen und das – wie in der Forschung – am besten interdisziplinär.

Einige Unternehmen setzen bereits in der Schadenbearbeitung KI-Systeme ein, weitere Unternehmen stehen kurz vor deren Einführung. Mit der AI Liability Directive sollen die haftungsrechtlichen Bestimmungen angepasst werden. Was bedeutet dies für Versicherungsunternehmen aber auch für Kund:innen?

Wendt: Die AI Liability Directive ist im Zusammenspiel mit dem AI Act und der neuen Produkthaftungsrichtlinlie zu sehen. Der AI Act gibt Pflichten für die verschiedenen KI-Systeme vor. Die Produkthaftungsrichtlinie setzt Haftungsregeln und die AI Liability Directive neben Beweiserleichterungen insbesondere Offenlegungspflichten fest. Sehr kurz zusammengefasst soll nach dem aktuellen Entwurf zukünftig folgendes gelten: Setzt ein Unternehmen KI ein, soll es im Schadenfall offenlegen, ob die Regeln des AI Acts eingehalten wurden und das KI-System damit regelkonform gearbeitet hat. Hintergrund ist das Blackbox-Problem, das wir insbesondere bei ausgereifteren KI-Systemen haben: Wir geben Daten hinein und erhalten ein Ergebnis, das sich nicht mehr zurückverfolgen lässt.

Zusammenspiel von europäischer Aufsicht und nationaler Kontrolle

Je nach Risikoklassifikation des entsprechenden KI-Systems soll dieses über den gesamten Lebenszyklus bewertet werden. Dazu bedarf es einer Kontrollinstanz. Werden dies die nationalen Versicherungsaufsichten leisten (können)?

Wendt: Dafür werden aktuell verschiedene Optionen diskutiert, denn dies ist nicht nur eine Frage der fachlichen bzw. technischen Kompetenzen sondern auch der Ressourcen, der es bedarf, etwa für Vorabkontrollen oder auch für das Durchsetzen von Sanktionen.

Wer dies auf nationaler Ebene machen darf und wird, ist im Moment ungewiss.

Vielleicht ist es aber auch sinnvoll, auf EU-Ebene anzusetzen, wie wir es aus dem Finanzmarktrecht im allgemeinen und dem Versicherungsaufsichtsrecht im Besonderen kennen: Dort haben wir mit der EIOPA eine europäische Aufsichtsbehörde, die sicherstellen soll, dass wir eine harmonisierte Verwaltungspraxis in der EU haben. Daneben gibt es nationale Kontrollbehörden. Der produktsicherheitsrechtliche Ansatz des AI Acts ist sehr ähnlich: Eine europäische Instanz könnte für eine einheitliche produktsicherheitsrechtliche Umsetzung der Vorgaben sorgen und die jeweiligen nationalen Behörden könnten Kontrollaufgaben übernehmen.

Aufsicht und Kontrolle werden ja auch in Ihrem Buch „Das neue Recht der Künstlichen Intelligenz“, das im kommenden Jahr erscheinen wird, thematisiert, ebenso die möglichen Sanktionen bei Verstößen. Welche wären das?

Wendt: Verstöße wären etwa die Missachtung eines Verbots, also der Einsatz bzw. die Nutzung nicht-zulässiger KI-Systeme oder die Nicht-Einhaltung von Konformitätsmaßstäben.

Bei Verstößen sollen nach aktuellen Vorschlägen hohe Geldbußen verhängt werden. Diskutiert wird über Geldbußen von bis zu 40 Millionen Euro oder sieben Prozent des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres. Das sind ordentliche Dimensionen, mit denen die EU beweist, dass sie kein zahnloser Tiger sein möchte.

„Künstliche Intelligenz muss den Menschen unterstützen und darf ihn in keinem Fall gefährden.“

Ebenfalls im kommenden Jahr wird der von Ihnen herausgegebene NomosKommentar zum AI Act erscheinen. Darin beschäftigen sich die Autoren:innen u.a. mit den ethischen Grundlagen dieser Technologie. Wo sehen Sie persönlich die Grenzen von Künstlicher Intelligenz, welche Bedeutung wird der Faktor Mensch künftig haben?

Wendt: Ich bin der Überzeugung, dass eine KI uns Menschen bestmöglich unterstützen und in keinem Fall gefährden soll. Dazu müssen wir KI-Systemen vertrauen können. Das können wir in der Regel dann, wenn KI erklärbar bleibt oder wenn wir die Möglichkeit haben, Prozesse zu stoppen. Dieser Ansatz lässt sich auch in den aktuellen legislativen Entwicklungen finden.

In Ihrem Seminar der Deutschen Versicherungsakademie beschäftigen Sie sich ausführlich mit den verschiedenen KI-Modellen, deren Einsatzgebieten und den damit verbundenen rechtlichen Rahmenbedingungen. Wen wünschen Sie sich als Teilnehmende?

Wendt: Mein Kollege Dr. Holger Bartel wird im ersten Teil des Seminars zunächst mögliche Anwendungsbereiche erörtern. Im zweiten Teil befasse ich mich mit dem aktuellen Stand der Regulatorik und gebe vor allem einen Überblick über die derzeit diskutierten Bestimmungen des AI Acts sowie der AI Liability Directive und deren Bedeutung für die Branche. Das ist dann wie in der Praxis: Wenn die Anwendungsbereiche bekannt sind, lässt sich die rechtliche Bewertung klarer zeichnen. Wir freuen uns daher über alle, die sich mit dem Thema KI auseinandersetzen – sei es aus technischer oder aus regulatorischer Perspektive.