Sparkassen und Volksbanken beim Chatbot-Vergleich Spitze

Wer erwartet hatte, dass online-affine Direktbanken oder innovative FinTechs in jedem Fall die besseren Tools und Assistenzsysteme vorweisen können, wird nun eines Besseren belehrt. Die Chatbot-Studie der Hochschule Aalen belegt, dass die höchste Konversations- und Antwortqualität bei den automatischen Dialogsystemen von genossenschaftlichen und öffentlichen Banken zu finden sind.

 

Im Institut for Conversational Business an der Hochschule Aalen für Technik und Wirtschaft (HTW Aalen) wurden im Rahmen der Studie 13 ausgewählte Chatbots aus der Versicherungs- und Finanzbranche untersucht. Die Bewertung erfolgte anhand von qualitativen und quantitativen Fragestellungen, mit denen die Fähigkeit geprüft wurde, inwiefern die Chatbots in der Lage sind, Anfragen und Bedürfnisse der Kunden zu erkennen und eine adäquate Antwort zu liefern.

Ergebnisse abhängig von Technik und Branche

Sparkassen und Volksbanken liegen bei diesem Vergleich mit durchschnittlich 70 Prozent Trefferquote deutlich vor den Direktbanken und FinTechs mit durchschnittlich 41 Prozent. Knapp dahinter liegen die Versicherer mit einer Trefferquote von 35 Prozent.

Insbesondere drei Technologien aus dem Bereich Künstliche Intelligenz liegen den Dialogsystemen zugrunde: NLU (Natural Language Understanding), NLP (Neuro-Linguistisches Programmieren) und Deep Learning. Wie die aktuelle Studie zeigt, schneiden Chatbots auf Basis von NLU insgesamt deutlich besser ab.

Die Studienautoren weisen darauf hin, dass das relativ schlechte Abschneiden der Versicherungen zumindest zum Teil auf das Studiendesign zurückzuführen ist. Während die Assekuranzen oft nur ein eng umgrenztes Portfolio bieten, legten die standardisierten Fragen der Untersuchung meist eine breitere Produktpalette zugrunde, um das gesamte Testfeld abzudecken. Die Einzelergebnisse und weitere Details finden sich in der Chatbot-Studie, die hier zum kostenlosen Download bereitsteht.

Bewertungskriterien

Um die Konversationsfähigkeit der Chatbots entsprechend zu bewerten, wurden neben fachlichen Fragen zu Produkten und Konditionen auch “Off-Topic”- sowie persönliche Fragen gestellt. Fünf Kriterien wurden zur Operationalisierung der Konversations- und Antwortqualität angewandt:

• Genauigkeit der Antworten auf die jeweilige Fragestellung;
• Antwortgeschwindigkeit;
• Einfachheit der Bedienung / Nutzerfreundlichkeit;
• Informativer Charakter der Antworten und
• unterhaltsamer Charakter der Antworten.

Chatbots brauchen Pflege

Eine der grundlegenden Erkenntnisse der Chatbot-Studie ist die Tatsache, dass qualitativ hochwertige Dialogsysteme nicht als Plug&Play-Lösung erhältlich sind. Sie benötigen vom Kunden her gedachte und gut trainierte Dialogstrecken, was einen gewissen Aufwand bedeutet.

Häufig würden dagegen Chatbots noch zu sehr aus der Perspektive der Kostenersparnis und Prozessautomatisierung heraus entwickelt. Die Folgen sind fatal. Denn Konsumenten begrüßen zwar solche Dialogsysteme prinzipiell, wenn sie eine akzeptable Antwortqualität bieten. Unternehmen mit guter Antwortqualität berichten von sehr positiven Erfahrungen. Doch ungenügende Chatbots führen dazu, dass Kunden solche Angebote künftig meiden. Dementsprechend lautet die Empfehlung der Studienautoren: Lieber keinen Chatbot als einen schlechten.

Sind Google & Co. besser?

Auch gegenüber Erfolgsmeldungen von KI-Vorreitern, die in Systemen wie Meena (Google), Blender (Facebook) oder GPT-3 (OpenAI) die Zukunft der Dialogsysteme sehen, reagieren sie mit Skepsis. Deren Stärke liege eher im Bereich allgemeiner Fragen und größerer Branchenthemen, die zum Teil sehr menschenähnlich und unterhaltsam beantwortet werden. Sie werden mit großen Datenmengen trainiert und laufen mangels Qualitätskontrolle des Inputs Gefahr, Vorurteile und Klischees zu „lernen“.

Kunden- und unternehmensspezifische Kontexte lassen sich dagegen zuverlässig nur mit dem NLU-Ansatz erkennen. Dieser benötigt aber auch entsprechende Lexika und eine umfangreiche Kontextmodellierung.

„Der Königsweg in der Zukunft ist ein hybrider Ansatz, der Wissenskonzepte und Kontrolllogiken mit dem generativen Ansatz verknüpft. Damit lässt sich die Mächtigkeit des impliziten Lernens durch Deep Learning qualitätsgesichert nutzen und zugleich unternehmens- und produktspezifisches Wissen einbringen.“

Prof. Dr. Peter Gentsch, HTW Aalen

Letztendlich kann man den Entwicklern von Chatbots nur raten, die Ansprüche und Erwartungen des Kunden im Blick zu behalten und sich kontinuierlich mit den Fortschritten der in den letzten Jahren massiv besser gewordenen Conversational AI-Technologien wie NLP, NLU und Deep Learning zu beschäftigen. hj