Falsche Entscheidungen: Versteckte Diskriminierung durch KI‑Anwendungen verhindern

Es ist tückisch: KI-Anwendungen können unbemerkt diskriminierende Entscheidungen treffen. Das haben viele Beispiele in den vergangenen Jahren gezeigt. Dr. Kay Knoche, Principal Solution Consultant bei Pegasystems erklärt, wie sich Vorurteile und Diskriminierung bei KI-Anwendungen verhindern lassen.

von Dr. Kay Knoche, Principal Solution Consultant bei Pegasystems

Ende Oktober will die Enquete-Kommission des Bundestages nach zwei Jahren Diskussionen endlich einen Gesamtbericht über Künstliche Intelligenz (KI) vorlegen. Darin wird sie auch auf die Bedeutung von diskriminierungsfreier KI hinweisen, denn obwohl in KI-Anwendungen scheinbar objektive Algorithmen zum Einsatz kommen, treffen sie nicht immer neutrale und gerechte Entscheidungen.

Manchmal ist die Datenbasis das Problem, die nicht ausgeglichen gewählt wurde oder bereits gesellschaftliche Ungleichheiten abbildet, manchmal steckt der Fehler in den Algorithmen selbst, die bestimmte Merkmale zu stark gewichten oder aus Korrelationen eine Kausalität ableiten, die nicht existiert.”

Beispiele für KI-Anwendungen, die Menschen aufgrund bestimmter Eigenschaften diskriminieren, sind in den vergangenen Jahren immer wieder bekanntgeworden, etwa Gesichtserkennungsalgorithmen, die Probleme haben, Frauen und dunkelhäutige Menschen zu erkennen. Auch gezielte Manipulationen gab es, beispielsweise als der Chatbot eines großen Software-Konzerns aus echten Konversationen in sozialen Netzwerken lernen sollte und Anwender ihn mit rassistischen Äußerungen binnen wenigen Stunden zum Rassisten machten.

Transparente Algorithmen und Simulationen

Kein Wunder also, dass viele Verbraucher Künstlicher Intelligenz skeptisch gegenüberstehen und gerade bei wichtigen Entscheidungen eher Menschen als einer KI vertrauen (Studie „Was Verbraucher wirklich über KI denken“). Setzen Unternehmen KI-basierte Anwendungen ein, etwa bei der Auswahl von Bewerbern, der Vergabe von Krediten oder bei der Bearbeitung von Versicherungsfällen, müssen sie die Lösungen und Ergebnisse während der Entwicklung, der Trainingsphase und im laufenden Betrieb genau kontrollieren, um unfaire und diskriminierende Entscheidungen zu erkennen. Die beiden wichtigsten Bausteine dafür sind transparente Algorithmen und Simulationen.

Transparente Algorithmen sind notwendig, damit Entwickler und Nutzer der KI-Anwendungen verstehen, wie Entscheidungen gefällt werden und wie sich bestimmte Eigenschaften auf die Entscheidungen auswirken. Sehr komplexe Algorithmen, die eine Art „Black Box“ sind, liefern möglicherweise bessere Ergebnisse, sind aber intransparent und bergen ein Risiko, weil umstrittene Entscheidungen nur unzureichend erklärt werden können.

Gerade bei Banken und Versicherern

Unternehmen müssen daher abwägen, wie viel Transparenz und damit Erklärbarkeit für das konkrete Einsatzgebiet notwendig ist. Bei transparenten Algorithmen können sie bereits im Vorfeld mit Simulationen, die spezielle Testdaten oder echte Daten verwenden, schnell erkennen, welche als diskriminierend eingestuften Eigenschaften – etwa Alter, Geschlecht oder Herkunft – zu verzerrten Entscheidungen führen. Sei es, dass ältere Menschen eher einen Kredit gewährt bekommen als jüngere, dass Männer eher zu einem Vorstellungsgespräch zum Versicherer eingeladen werden als Frauen oder dass bei der Regulierung von Unfallschäden häufiger ein Gutachter zu Versicherten mit ausländischem Namen geschickt wird als zu Versicherten mit deutschem Namen.

Diskriminierung ist hinterhältig und oft versteckt

Allerdings sind nicht alle Diskriminierungen so offensichtlich – die Stärke von KI-Anwendungen ist es schließlich, Zusammenhänge besser und schneller zu erkennen als Menschen. Zum Beispiel könnte eine KI auch vom Vornamen auf das Alter schließen oder von der Buchstabenhäufigkeit im Nachnamen auf die Herkunft. Darum müssen alle Eigenschaften, die in die Entscheidungsfindung einfließen, mit Simulationen auf eine mögliche Diskriminierung abgeklopft werden.

Gute KI-Systeme erkennen die zu starke Gewichtung bestimmter Eigenschaften nicht nur in Simulationen, sondern auch im Live-Betrieb, sodass kontinuierlich nachjustiert werden kann.”

Eine Bevorzugung oder Benachteiligung bestimmter Personengruppen sieht man einem KI-Algorithmus nicht an – man erkennt sie erst in der Simulation oder im Live-Betrieb, wenn einzelne Eigenschaften die Entscheidungen in die eine oder andere Richtung beeinflussen.

Die Abwägung, welche Eigenschaften bei der Entscheidungsfindung nicht berücksichtigt werden sollen und wie viel Transparenz ein Algorithmus bieten soll, muss für jeden Anwendungsfall die Fachabteilung vornehmen.

Die Entwickler der KI können nicht darüber entscheiden, wann eine hohe Vorhersagequalität und hohe Erfolgsquoten wichtig sind und wann diskriminierungsfreie Ergebnisse und Auditierbarkeit.”Dr. Kay Knoche, Pegasystems