Machine Learning in der Betrugsprävention: nachvollziehbar und damit erfolgreich

Machine Learning (ML) gehört die Zukunft in der Betrugsprävention. ML-Systeme können beispielsweise im Geschäft mit Online-Krediten dafür sorgen, dass Betrugsversuche besser erkannt werden und der Antragsprozess für die potenziellen Kreditnehmer reibungsloser verläuft. Finanzinstitute können so ihren Umsatz steigern, weil die Kontrollsysteme weniger gute Kunden ablehnen (weniger „False Positives“) und Kunden ihrerseits den Antragsprozess nicht aufgrund zu umständlicher Kontrollprozesse abbrechen. Das gilt zumindest, wenn sichergestellt werden kann, dass ML-Systeme zuverlässige und nachvollziehbare Ergebnisse liefern. Andernfalls werden sich Kreditantragssteller beschweren. Darüber hinaus werden Systeme ohne Nachvollziehbarkeit früher oder später gegen einschlägige Gesetze zur Regulierung von Künstlicher Intelligenz verstoßen, wie diese z.B. gerade von der Europäischen Kommission vorbereitet werden.

von Martin Baumann, Director Analytics bei Experian DACH

Um Kunden vor potenziellen Verstößen gegen künftige Gesetze zu schützen und seiner gesellschaftlichen Verpflichtung zur ethischen Nutzung von Machine Learning gerecht zu werden, hat der Informationsdienstleister Experian die ML-Komponente „Transaction Miner“ seiner neuen Betrugspräventionslösung „AI:drian“ durch die Abteilung Cyber Cognitive Intelligence (CCI) des Fraunhofer-Instituts für Produktionstechnik und Automatisierung IPA überprüfen lassen. Mit Sicht auf die zu erwartende Regulierung durch die Europäische Kommission arbeitet das CCI an einem standardisierten Verfahren für die Überprüfung von KI- bzw. ML-Systemen. Für das Audit hat sich das Institut vor allem an den Vorarbeiten des TÜV Austria und des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS sowie am Entwurf für ein „Gesetz über Künstliche Intelligenz” der Europäischen Kommission orientiert.

Technische Erklärbarkeit nicht gut genug

Dem Ansatz des CCI für das Audit des Transaction Miners und künftiger ML-Produkte liegt die Erkenntnis zugrunde, dass eine rein technische Untersuchung nicht ausreicht, um zu beurteilen, ob ein kommerzielles ML-System nachvollziehbare und faire Entscheidungen trifft. Es bestehen durchaus bewährte Methoden für eine rein technische Kontrolle von ML-Systemen. So kann man beispielsweise auf die Methode mit sogenannten „Surrogatmodellen“ zurückgreifen, die strukturell greifbarer sind als das zu überprüfende Modell, dieses simuliert und weitgehend gleiche Vorhersagen trifft. So werden die wesentlichen Treiber für die Entscheidungen des überprüften Modells nachvollziehbarer. Auch mit kontrafaktischen Erklärungen lässt sich ein Machine-Learning-System überprüfen. Dabei analysieren die Prüfer, welche leichten Veränderungen an den Eingabedaten zu einem anderen Ergebnis führen würden und können so die Abhängigkeit des Ergebnisses von den Eingabedaten besser verstehen. Auch der aus der Spieltheorie stammende SHAP-Ansatz (Shapley Additive exPlanations) eignet sich zur technischen Beurteilung eines ML-Systems. In der Spieltheorie wird mit SHAP beispielsweise die Vorhersage eines bestimmten Wertes erklärt, indem der Beitrag jedes Merkmals zur Vorhersage berechnet wird.

Alle genannten Ansätze sind für das Audit eines kommerziellen Produkts allerdings unzureichend, weil sie sich immer auf ein ganz bestimmtes Modell beziehen. Bei einem kommerziellen Produkt kommen aber je nach Kunden unterschiedliche Modelle zum Einsatz.

Darüber hinaus müssen die Modelle im Falle einer Betrugspräventionslösung regelmäßig angepasst werden, um auf die schnell verändernden Vorgehensweisen von Betrügern zu reagieren.”

Das Audit des Transaction Miners hat sich deshalb auf vier Komponenten konzentriert, die der eigentlichen Modellentwicklung zugrunde liegen.

1. Feature Engineering

Beim Audit des Feature Engineering gilt es vor allem, das System und die Datenaufbereitung auf gängige Fehlerquellen zu untersuchen. Es könnten z.B. Target Leaks auftreten. Bei einem Target Leak sind Informationen der Zielvariablen bereits direkt in den Features vorhanden (beispielsweise soll die Lebensdauer einer Automobilkomponente in Jahren berechnet werden, die Features enthalten allerdings schon die Lebensdauer in Wochen). Weitere Fallstricke können undurchsichtige Feature-Transformationen sein oder die Verwendung derselben Daten sowohl zum Training als auch zum Testen.

2. Modellauswahl und Training

Beim Training und der Modellauswahl sollten nach Möglichkeit aktuelle, bekannte Frameworks verwendet werden und das Machine-Learning-System bzgl. sinnvoller Metriken optimiert werden. Der Einsatz aktueller, bekannter Frameworks sorgt für die notwendige Transparenz und Nachvollziehbarkeit in diesem Schritt. Das CCI hat festgestellt, dass es sich bei allen von Experian eingesetzten Methoden um etablierte Verfahren und Frameworks handelt, abgesehen von einer eigens entwickelten Teilkomponente, deren Entwicklung und Auswahl von Experian entsprechend dokumentiert und begründet wurden, womit auch diese Teilkomponente als unkritisch gilt.

3. Modellevaluation

Um das fertige Modell zu evaluieren, erfolgt ein Durchlauf auf dem Testdatenset und es wird eine „Konfusionsmatrix“ für das jeweilige Klassifikationsproblem erstellt. Aus dieser Matrix lässt sich beispielsweise die False-Positive-Rate ablesen. Zudem wird ein Kalibrierungsreport in Form eines Plots erzeugt. Dieser Report bietet den Unternehmen, die das Produkt einsetzen, wichtige wirtschaftliche Kennzahlen. Dazu gehören etwa die Märkte und Anwendungsszenarien des jeweiligen Kunden mit Gewinn- und Verlustrechnungen. Darüber hinaus ist der Report wichtig, weil er Fairness in Form von Fehlerraten bzgl. sensibler Gruppen berücksichtigt. Zudem informiert der Report über den Einfluss der einzelnen Features auf die Resultate nach dem Training. Diese Information sorgt für höhere Transparenz bzw. Nachvollziehbarkeit von Entscheidungen.

4. Menschliche Kontrolle

Die Grundidee des Machine Learning besteht darin, dass technische Systeme weitgehend selbständig lernen und sich selbst optimieren, wobei die jeweiligen internen Abläufe im Dunkeln bleiben, Stichwort „Black Box“.

Tatsächlich dürfen ML-Systeme sich nicht komplett ohne Kontrolle durch menschliche Experten entwickeln, soll die Fairness und Nachvollziehbarkeit ihrer Entscheidungen gewährleistet werden.”

Im Falle des Transaction Miners sind menschliche Experten und Risikoprüfer an der Modellentwicklung und -evaluation beteiligt und können korrigierend in den Lernprozess eingreifen. Darum betrachtet das CCI den Transaction Miner auch in dieser Hinsicht als vorbildlich entwickeltes System.

Für die Zukunft gewappnet

Aufgrund mangelnder Regularien können ML-Systeme aktuell nicht offiziell zertifiziert werden. Zum gegenwärtigen Zeitpunkt kommt das beschriebene Audit einer solchen Zertifizierung am nächsten.”

Das CCI konnte dem Transaction Miner sehr hohe Qualität während des gesamten Entwicklungsprozesses und in der Bewertung von Transaktionen bestätigen. In der Praxis kann das System bis zu 99,9 Prozent aller Transaktionen treffsicher einschätzen und die False-Positive-Rate drastisch reduzieren, was zu einer Umsatzsteigerung von bis zu 15% führt.

Mit dem Ergebnis des Audits können Finanzinstitute guten Gewissens AI:drian als sichere Investition in die Zukunft betrachten. Darüber hinaus hat das Audit dem CCI wichtige Weichenstellungen für ein standardisiertes Prüfverfahren ermöglicht, das für offizielle Zertifizierungen eingesetzt werden kann, sobald die entsprechenden regulatorischen Rahmenbedingungen gegeben sind.Martin Baumann, Experian