EU AI Act: Sind Sie bereit für die KI-Regulierung?

Was bedeutet der EU AI Act für die Finanz- und Versicherungsbranche? Klar ist: Der Wettbewerb wird ebenso zunehmen wie die regulatorischen Anforderungen. Welche Weichenstellungen sollten Versicherungen schon heute vorbereiten?

von Sebastian Bluhm, Managing Partner und Gründer bei Plan D

Die Zeiten der Experimente sind vorbei. Beim Einsatz künstlicher Intelligenz steht die Versicherungsbranche vor einer Phase der Professionalisierung. Der Vorschlag der EU-Kommission zur neuen KI-Verordnung wird diese Entwicklung weiter verstärken. Unter den neuen Qualitätsanforderungen wird sich zeigen, welche Versicherungsunternehmen den neuen Herausforderungen gewachsen sind – und welche nicht. Der AI Act trennt die Spreu vom Weizen.

Es ist also Zeit zu handeln. Versicherungsgesellschaften müssen sich damit auseinandersetzen, welche Anforderungen an KI-Anwendungen sie erwarten.

Der risikobasierte Ansatz der Verordnung legt nahe, dass viele Anwendungsfälle der Branche unter die Kategorien “Limited Risk” bis “High Risk” fallen werden – auch solche, die Scoring und Pricing, und damit die wichtigsten Kernkompetenzen der Branche, betreffen.”

Was bedeutet das konkret? Wenn wir davon ausgehen, dass der Einsatz von KI in Versicherungen meist in die Kategorie der Hochrisiko-Systeme fällt, werden einige Artikel des Gesetzentwurfes besonders relevant.

Risikomanagementsystem (Artikel 9, EU AI Act)

Bei KI-Anwendungen mit hohen Risiken wird Risikomanagement Pflicht. Das wird für Versicherungsgesellschaften zur Herausforderung, denn KI-Risikomanagementsysteme sind bislang selten im Einsatz. Konkret bedeutet das:

MLOps-Infrastruktur und -Prozesse müssen angepasst werden.”

Um entsprechende Systeme zu implementieren, stehen Unternehmen verschiedene Strategien offen: Kurzfristig kann ein regelmäßiges Risikomanagement auf Ebene einzelner KI-Anwendungen, inkl. Risikoanalyse einzelner Teilapplikationen, eine sinnvolle Lösung sein. Langfristig lohnt sich dagegen die Einführung einer Compliance by design, d.h. die Einbettung des Risikomanagements auf Prozessebene.

Ein solch integriertes Risikomanagement greift in allen Phasen der KI-Entwicklung: Planung und Konzeption: z.B. Zusammenstellung eines diversen Teams sowie die Definition von Metriken, um Bias in Daten zu erkennen und zu verhindern.

• Datenbeschaffung: z.B. Sicherstellung der Datenqualität. Ein gutes Training Set muss möglichst ausgewogen (balanced) hinsichtlich möglicher zu vorhersagender Kategorien sein und die Grundgesamtheit repräsentieren.
• Modellentwicklung: z.B. Auswahl geeigneter KI-Modelle (so wenig komplex wie möglich) sowie Überprüfung der Systeme auf Fairness. Hierzu eignen sich beispielsweise SageMaker Clarify von Amazon oder die Open-Source-Anwendung Fairlearn.
• Wartung und Monitoring: z.B. Monitoring von Verteilungskenngrößen und Modellperformance, um Modeldrift zu verhindern. Wenn sich externe Einflussfaktoren ändern, die das Modell beeinflussen (z.B. Inflation), müssen diese ggf. ins Training einfließen.

Data Governance (Artikel 10)

In Artikel 10 findet sich eine der umstrittensten Formulierungen des EU AI Acts:

Die Trainings-, Validierungs- und Testdatensätze müssen relevant, repräsentativ, fehlerfrei und vollständig sein.“

Das lässt Spielraum für Interpretation. Wenn etwa Ausreißer in den Daten eine Statistik verfälschen, ist es sinnvoll, sie aus einem Trainingsdatensatz herauszunehmen. Wird dieser damit fehlerfrei? Oder unvollständig?

Die Europäische Union fordert in diesem Artikel deshalb die Einrichtung von „geeigneten Daten Governance- und Datenverwaltungsverfahren“. Unternehmen, die dies noch nicht getan haben, sollten sich spätestens jetzt Gedanken machen, welche Rollen, Zuständigkeiten und Prozesse sie künftig brauchen. Wer verantwortet die Erfassung und Aufbereitung von Daten? Wer untersucht sie auf mögliche Verzerrungen, Lücken oder Mängel? Entsprechen Sicherheits- und Datenschutzmaßnahmen dem neusten Standard?

Nicht jedes Unternehmen muss hier bei Null anfangen. Verschiedene Data Governance Frameworks helfen dabei, sich das Thema zu erarbeiten und sind Teil jeder guten Datenstrategie.

Technische Dokumentation (Artikel 11)

Der EU AI Act fordert in seiner aktuellen Fassung eine technische Dokumentation von Hochrisiko-KI-Systemen, noch bevor diese in Verkehr gebracht oder in Betrieb genommen werden.”

Bislang wird dies in der Praxis selten umgesetzt. Das wird sich ändern müssen.

Die Umsetzung technischer Dokumentationen muss fest im Unternehmen verankert werden. Es kann sinnvoll sein, hierfür Technologien zu nutzen, die eine technische Dokumentation unterstützt oder (teil-) automatisiert. Doch auch in der Organisation muss das Thema stärker verhaftet sein, etwa durch die Etablierung eines Documentation Stewards. Neben der Dokumentation der Systeme empfiehlt sich auch eine umfassende Dokumentation der verwendeten Datensätze.

Um jederzeit nachvollziehen zu können, welches Modell mit welchem Datensatz trainiert wurde, helfen Versionierungs-Tools wie DVC (Data Version Control), Neptune oder Git LFS. Auf diese Weise lassen sich Fehler leichter zurückverfolgen und eliminieren.

Aufzeichnungspflichten (Artikel 12)

Artikel 12 des EU AI Acts fordert eine automatische Protokollierung von Vorgängen und Ereignissen während des Betriebs von Hochrisiko-KI-Systemen. Das bedeutet konkret, dass alle Inputs und Outputs einer Anwendung automatisiert aufgezeichnet werden (“Logs”) und zu einem späteren Zeitpunkt einsehbar sein sollen.

Das Ziel des Artikels ist klar: Die Grundlage und die Zeitpunkte aller Entscheidungen sollen sicht- und nachvollziehbar sein.”

Die Umsetzung dagegen dürfte für viele Unternehmen herausfordernd sein. Nur wenige der aktuell eingesetzten oder am Markt erhältlichen KI-Systeme verfügen bereits über eine solche Logging-Funktionalität. Diese muss also nachträglich implementiert werden. Wo dies nicht möglich ist, muss das System als Ganzes neu aufgesetzt oder nachgerüstet werden.

Solange in absehbarer Zeit also keine kompatiblen Systeme auf dem Markt erhältlich sein werden, müssen Unternehmen sich darauf einstellen, diese selbst zu entwickeln oder entwickeln zu lassen.”

Darüber hinaus wirft auch dieses Thema einige organisatorische Fragen auf: Wo werden die Daten, die bei der Protokollierung entstehen, gespeichert? Wem sind sie zugänglich? Und wer übernimmt ihre Kontrolle?

Transparenz (Artikel 13)

Die Aufzeichnungspflichten hängen direkt mit dem Inhalt von Artikel 13 zusammen. Dieser fordert mehr Transparenz im Betrieb der KI-Systeme, so dass auch Nutzerinnen und Nutzer die Outputs interpretieren können.

Ein Beispiel: Bei einer Bank generiert eine künstliche Intelligenz Empfehlungen für die Kreditwürdigkeit einer Person. Wird das Ergebnis angefochten, muss die Bank aufzeigen, wie die KI zu dieser Empfehlung gekommen ist. Eine KI darf also keine Blackbox, sondern muss ein transparentes System sein.

Zudem sind Anbieter von Hochrisiko-KI-Systemen verpflichtet, Gebrauchsanweisungen für die Nutzung ihrer Produkte zur Verfügung zu stellen.”

Darin müssen etwa das Maß an Genauigkeit, Robustheit und Cybersicherheit aus Artikel 15 beschrieben sein, ebenso wie die bekannten oder vorhersehbaren Umstände, die zu Risiken für die Gesundheit, Sicherheit oder Grundrechte der Nutzerinnen und Nutzer führen könnten.

Nicht zu vernachlässigen ist auch ein Aspekt, der auf den ersten Blick simpel erscheint: Die Zweckbestimmung. Nicht selten machen Anbieter die Erfahrung, dass Anwender ein KI-System zu einem völlig anderen als dem ursprünglich intendierten Zweck verwenden möchten. Mit entsprechend enttäuschenden Ergebnissen…

Gerade Artikel 13 bietet also die Chance, die Kommunikation zwischen Anbietern und Nutzern zu verbessern und so nicht nur die Transparenz, sondern auch das Verständnis für die Funktionsweise künstlicher Intelligenz zu fördern.

Überwachung durch den Menschen (Artikel 14)

Der EU AI Act besagt, dass KI-Systeme so konzipiert und entwickelt werden sollen, dass Menschen sie effektiv überwachen können.”

Das Ziel ist, die bereits erwähnten „Risiken für die Gesundheit, Sicherheit und Grundrechte“ zu verhindern oder zu minimieren.”

In der Realität sind jedoch bislang nicht alle KI-Systeme auf eine solche menschliche Kontrolle hin angelegt. Sie müssen nachgerüstet oder gar neu entwickelt werden.

Eine weitere Investition, die die Überwachung von KI-Systemen mit sich bringt, ist die in Kompetenz und Personal. Beide sind so in vielen Unternehmen aktuell oft nicht vorhanden.”

Personal, das KI-Modelle in einer angemessenen Tiefe versteht, um dessen Operationen nachvollziehen zu können, verfügt meist über einen MINT-Hintergrund, aber nur selten über die Expertise, um sich angemessen mit den gesellschaftlichen oder gesundheitlichen Fragestellungen im Zusammenhang mit dem Einsatz von KI auseinanderzusetzen. Denjenigen, die dies tun (wie Geisteswissenschaftler und Psychologen), fehlt dagegen oft das technologische Know-how.

Es wird also nicht nur neue, interdisziplinäre Teams, sondern auch umfassende Weiterbildungsmaßnahmen brauchen, um Mitarbeiter für diese neue Aufgabe angemessen zu qualifizieren.

Genauigkeit, Robustheit und Cybersicherheit (Artikel 15)

„Hochrisiko-KI-Systeme werden so konzipiert und entwickelt, dass sie im Hinblick auf ihre Zweckbestimmung ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren”, lautet eine weitere Anforderung des Entwurfs. Was genau hier aber “angemessen” bedeutet, wird nicht definiert.

Klar ist, dass KI-Systeme ständig dahingehend überwacht werden müssen, ob sie zu Fehl- oder Vorurteilen neigen und falsche Tendenzen entwickeln.”

Ein Versicherungsunternehmen wird also gezwungen sein, Feedbackloops zu implementieren, um die Fehlertoleranz in Bezug auf Input-Variablen zu überprüfen. Darüber hinaus fordert der EU AI Act Sicherheitsmaßnahmen gegen Cyberangriffe.

In diesem Zusammenhang ist zu betonen, dass künstliche Intelligenz neue Angriffsziele bietet, die zu denen anderer Systeme hinzukommen.”

Eine gezielte Attacke auf KI-Systeme ist etwa das sogenannte Data Poisoning, bei dem Angreifer manipulierte Daten ins KI-System einschleusen und so die Aussagen des Modells verfälschen. Im Falle von Versicherungen könnten Angreifer etwa fiktive Transaktionen anlegen, die suggerieren, dass einige Schäden seltener vorkommen, als dies tatsächlich der Fall ist. So käme das System möglicherweise zu dem Ergebnis bzw. der Empfehlung, eine geringere Versicherungsgebühr zu zahlen.

Ein weiteres Beispiel ist das sogenannte Reengineering: Hierbei erkennen Angreifer die Schwächen bestehender KI-Systeme und nutzen diese zu ihrem Vorteil. Wenn beispielsweise ein Betrüger herausfindet, bis zu welcher Schadenshöhe es zu einer sofortigen Auszahlung kommt, kann er dieses Wissen nutzen und so mehrfach fingierte Schäden abrechnen, die kurz unter dieser Grenze liegen. Treten solche Fälle mehrfach auf, können sie einem Versicherungsunternehmen empfindliche finanzielle Schäden zufügen.

Unternehmen müssen sich auf solche Angriffe vorbereiten, Anfragen regelmäßig monitoren und auf Anomalien untersuchen.

Fazit: Regulierung erfordert strukturelle und personelle Anpassungen

Noch steht die neue Gesetzgebung erst in den Startlöchern.

Bis der AI Act in Kraft tritt, wird es ein, womöglich zwei Jahre dauern.”

Unternehmen sollten die Zeit, die ihnen zur Vorbereitung bleibt, nutzen. Infrastruktur, Personal, Organisation und Prozesse: Kaum ein Thema, das nicht von der neuen Regulierung betroffen wäre. Für viele Versicherungen wird die Transformation nicht einfach – sie werden Zeit und Geld investieren müssen, um den neuen Anforderungen gerecht zu werden.

Fakt ist aber auch: Wer KI-Anwendungen aus Scheu vor der kommenden Gesetzgebung nicht nutzt, ist schlecht beraten.”

Denn das Potenzial künstlicher Intelligenz für Versicherungen ist groß: Underwriting, Pricing, Vertrieb, Schadensteuerung, Betrugserkennung, Rechnungsprüfung, Recruitment – in fast allen Bereichen kann KI Ergebnisse und Prozesse entscheidend optimieren. Große Sprachmodelle wie GPT4 haben das Potenzial noch einmal massiv erhöht.

Unternehmen, die entschlossen vorangehen, können damit rechnen, ihre Effizienz signifikant zu erhöhen, neue Geschäftsmodelle zu etablieren und Marktanteile zu gewinnen.”

Spreu oder Weizen? Sie haben es in der Hand.Sebastian Bluhm, Plan D