KI: In kritischen Anwendungen muss die künstliche Intelligenz nachvollziehbare Ergebnisse liefern

In regulierten Umgebungen muss KI transparent sein – sagt Pegasystems. Die sogenannte “Opaque KI” sollte nur für unkritische Anwendungen verwendet werden, für kritische oder sogar regulierte Szenarien (wie bei Banken und Versicherern) käme nur transparente KI in Frage, weil nur diese nachvollziehbare Ergebnisse liefert.

von Dr. Kay Knoche, Principal Solution Consultant bei Pegasystems

Im CRM und im E-Commerce wird künstliche Intelligenz bereits verbreitet für die Optimierung der Interaktionen mit Kunden verwendet – so beispielsweise in Chatbots und für selbstlernende Empfehlungen im E-Commerce. Unternehmen versprechen sich von künstlicher Intelligenz effizientere und flexiblere Prozesse.

Allerdings birgt der KI-Einsatz auch Risiken, weil die verwendeten Algorithmen zu unbeabsichtigten Ergebnissen führen können.”

Das gilt umso mehr, wenn selbstlernende und sich selbst optimierende Systeme eingesetzt werden, beispielsweise um das Kaufverhalten vorherzusagen. Die Ergebnisse können aufgrund von “Voreingenommenheit” – also aufgrund von nicht ausreichend neutral konfigurierten Parametern – verfälscht sein. Unerwünschte Ergebnisse können sogar die Reputation von Unternehmen beschädigen; so zum Beispiel als ein KI-gesteuerter Chatbot von Microsoft in einer Diskussion einen rassistischen Kurs einschlug (“Twitter-Nutzer machen Chatbot zur Rassistin“).

Im Nachhinein lässt sich dann aufgrund der Fülle von Parametern und Nebenbedingungen – die in Echtzeit wechseln können – nicht mehr nachvollziehen, weshalb das System bestimmte Annahmen getroffen hat; außerdem werden häufig zufallsgenerierte Parameter eingestreut.”

Um so wichtiger ist es, dass Anwender von künstlich intelligenten Systemen zwischen transparenter und opaquer (undurchsichtiger) künstlicher Intelligenz unterscheiden:
I. Transparente KI bleibt für Anwender in jedem Schritt nachvollziehbar; es lässt sich jederzeit feststellen, warum und wie das System zu einer bestimmten Lösung gekommen ist.
II. Opaque KI liefert Ergebnisse, von denen auch der Anwender nicht mit Bestimmtheit angeben kann, warum es dazu gekommen ist.

KI: Transparent und opaque sind keine Wertungen

Es geht nicht um gute oder schlechte KI, sondern um unterschiedliche technische Verfahren.”

Eine transparente Entscheidungsfindung lässt sich trotz einer großen Zahl von Parametern mit Reverse Engineering immer zurückverfolgen. Bei opaquer KI kann das Regelwerk dagegen fast beliebig weiterwachsen, das System lernt und formuliert dabei seine Regeln bis zu einem gewissen Grad selbst.

Transparenz bedeutet eine Einschränkung der KI-Verfahren. Diese Systeme sind daher weniger effizient.”

Jedoch ist Transparenz in vielen Anwendungen unverzichtbar. So müssen gerade Finanzdienstleister gegenüber Aufsichtsbehörden darlegen können, wie bestimmte Entscheidungen zustande gekommen sind. Die neue EU-Daten­schutz-Grundverordnung (DSGVO) schreibt das für einige Anwendungsbereiche sogar zwingend vor.

Anwender müssen sich darüber im Klaren sein, welche Art von System sie wann und wofür einsetzen. Nur in einfachen, unkritischen Szenarien können sie die Effizienz der opaquen künstlichen Intelligenz nutzen, ansonsten müssen sie auf die transparente Variante zurückgreifen, die sie jederzeit unter Kontrolle halten können. Diese Entscheidung, in welchen Fällen welche Variante passt, kann ihnen eine künstliche Intelligenz zumindest vorerst jedoch nicht abnehmen.aj