Explainable AI – Vertrauen ist gut, Verständnis ist besser

Wenn eine Unternehmung im Rahmen der digitalen Transformation daten- und algorithmenbasiert Prozesse optimieren möchte, ist es wichtig, dass der Einsatz dieser neuen Technologie von allen Stakeholdern akzeptiert wird. Diese Akzeptanz muss aktiv geschaffen werden. Ein ganz wesentlicher Teil hierbei ist es, Logik und Funktionsweise der algorithmischen Lösung zu veranschaulichen und nicht nur auf grundlegendes Vertrauen in digitale Prozesse per se zu setzen. Dies gelingt, wenn folgende Fragen klar und möglichst anschaulich beantwortet werden können:

• Welche Information gehen in den Algorithmus ein?
• Wie wird diese Information von den eingesetzten Algorithmen verarbeitet?
• Wie sehen die durch die künstliche Intelligenz identifizierten Regeln aus, auf deren Basis die KI eine Entscheidung trifft?
• Und ganz wichtig: Finden sich bereits aus der Praxis bekannte sachlogische Muster in diesen Regeln wieder?

Ganz zentral kommen bei der Beantwortung dieser Fragen Erkenntnisse und Methoden aus dem Bereich Explainable AI (XAI) zum Einsatz. Der vorliegende Artikel diskutiert, weshalb XAI unverzichtbar ist und welche Aspekte es umfasst. Er illustriert die Abhängigkeit zwischen Algorithmenwahl und Interpretierbarkeit und gibt eine Anleitung, wie sich hier ein optimaler Mix entsprechend der bestehenden digitalen Reife eines Unternehmens finden lässt.

Warum XAI?

Parallel zur zunehmenden Menge an erfassten Daten, die zur Steuerung von Prozessen und Geschäftsabläufen zur Verfügung stehen, kommen auch immer komplexere Algorithmen zum Einsatz. Bei vielen dieser Algorithmen handelt es sich um sogenannte Black-Box-Modelle, bei denen lediglich die in den Algorithmus einfließenden Daten und das darauf basierende Ergebnis (z.B. eine Produktempfehlung für eine individuelle Kundin oder eine Prognose über ihre Bereitschaft erneut ein Produkt zu erwerben) bekannt sind. Warum, also auf Basis welcher in den verwendeten Daten enthaltenen Information die entsprechende Empfehlung erfolgt, ist allerdings oft nicht nachvollziehbar und lässt alle am Prozess Beteiligten und Verantwortlichen verunsichert zurück. Da niemand digitale Prozesse verantworten und umsetzen möchte, deren Wirkungsweise nicht nachvollziehbar ist, stellt diese Intransparenz eine ernst zu nehmende Hürde auf dem Weg der digitalen Transformation dar.

Mit der Lösung dieses Problems beschäftigt sich das Forschungsgebiet der Explainable AI (XAI), also der erklär- und interpretierbaren künstlichen Intelligenz. Zielsetzung hierbei ist, ein Interface zwischen Algorithmus und Nutzenden zu entwickeln, die das Nachvollziehen eines algorithmischen Vorschlags nicht nur ermöglicht, sondern darüber hinaus auch die Möglichkeit schafft, fehlerhafte Entscheidungen und Logiken zu erkennen und entsprechend zu korrigieren. Beispiele hierfür finden sich zuhauf, wie etwa die vermeintlich erfolgreiche Identifikation von Pferden auf Fotos, die in Wahrheit aber ausschließlich auf die in den Fotos enthaltene Quelleninformation zurückging. [2]

Was zeichnet ein gutes XAI Interface aus?

Diese Frage soll anhand eines Beispiels aus der INWT Praxis illustriert und beantwortet werden. Für einen Klienten aus dem Online-Bereich haben wir einen Algorithmus entwickelt und kalibriert, der für die Bestandskunden des Unternehmens prognostiziert, ob und wann diese erneut einen Kauf tätigen werden. Damit dieser Algorithmus keine Black-Box darstellt, muss er auf drei Ebenen interpretierbar sein und folgende Fragenkomplexe beantworten:

1. Relevanz der Einflussgrößen

Welche in den Algorithmus einfließenden Informationen sind wichtig? In welchem Maße beeinflussen z.B. Geschlecht, Alter oder die Zeit seit dem letzten getätigten Kauf die Kaufwahrscheinlichkeit?

2. Wirkungsrichtung

Wie sehen Einfluss und Wirkungsweise der als relevant identifizierten Daten genau aus? Haben Frauen oder Männer die höhere Kaufbereitschaft? Nimmt diese mit zunehmendem Lebensalter ab oder zu? Nach welcher Zeitspanne im Anschluss an einen bereits getätigten Kauf steigt die Kaufbereitschaft wieder, gibt es ein Optimum?

3. Nachvollziehbarkeit

Aufgrund welcher Datenpunkte wurde für einen konkreten Fall die konkrete Empfehlung ausgesprochen? Inwieweit haben das Lebensalter von 45 Jahren, die Tatsache, dass es sich um einen männlichen Kunden handelt, und die 42 Tage seit dem letzten Kauf die prognostizierte Kaufwahrscheinlichkeit beeinflusst?

Die beiden ersten Punkten gehören zu den globalen makroskopischen Eigenschaften eines Algorithmus, wohingegen in Punkt 3 die lokale mikroskopische Funktionsweise verstanden sein möchte. Es ist offensichtlich, dass diese drei Perspektiven unverzichtbar sind: nur in Kombination versetzen sie den Anwender in die Lage, die identifizierte Funktionsweise des Algorithmus sachlogisch zu hinterfragen und die Ergebnisse zu plausibilisieren. Dadurch ist es zum einen möglich, Zusammenhänge, die lediglich korreliert nicht aber kausal sind - man denke an das obige Beispiel zur Quelleninformation in Fotos, herauszuarbeiten und aus dem Modell zu entfernen. Zum anderen wird verhindert, dass evtl. in den Daten noch enthaltene, diskriminierende Einflussfaktoren unbemerkt vom Algorithmus verwendet werden.

Benötigt man immer XAI? Wie sieht die konkrete Ausgestaltung aus?

Die konkrete Ausgestaltung des XAI Interfaces hängt auch vom konkret verwendeten Algorithmus ab. Bestimmte Klassen von Algorithmen, wie z.B. einfache Entscheidungsbäume und Regressionsmodelle, bieten per se die Möglichkeit, die oben diskutierten Fragen direkt zu beantworten. Modellklassen wie Deep Learning und neuronale Netze oder Ensembles, die aus hunderten bis tausenden Einzelmodellen bestehen, bieten diese Möglichkeit nicht, sind aber oftmals in Bezug auf die Prognosegüte den einfacheren Modellen überlegen. Den generellen Trade-Off zwischen direkter Interpretierbarkeit und Prognosegüte veranschaulicht die folgende Abbildung:

Vor allem Modellklassen, die im oberen linken Teil der Abbildung verortet sind, benötigen ein zusätzliches XAI Interface, da hier eine unmittelbare Interpretierbarkeit nicht gegeben ist.

Um zu ermitteln, welche XAI Lösung für eine konkrete Fragestellung optimal ist, bietet es sich an, mehrere Realisierungsoptionen miteinander zu vergleichen:

• Einfache und direkt interpretierbare Algorithmen
• Komplexe, nicht direkt interpretierbare Algorithmen + XAI Interface
• Interpretierbare Approximation komplexer Algorithmen: Sollte das optimale AI Modell aufgrund seiner Komplexität zu Vorbehalten führen, kann dieses in einem weiteren Schritt wieder stufenweise vereinfacht und dabei auf einfachere Regeln reduziert werden.

Durch den Abgleich der verschiedenen Realisierungsoptionen können Gemeinsamkeiten identifiziert und es kann der konkrete Trade-Off zwischen Interpretierbarkeit und Modellgüte ermittelt werden, was die Basis für die Festlegung auf die optimale datengetriebe Lösung darstellt.

Fazit

Um algorithmenbasierte Entscheidungen im Rahmen der digitalen Transformation zur Prozessoptimierung erfolgreich zu verwenden, ist ein grundlegendes Verständnis der zugrunde liegenden AI Algorithmen notwendig. Mittels XAI kann deren Funktionsweise auf allen relevanten Ebenen transparent und verständlich gemacht werden. Unterschiedlichen Anforderungen und Bedürfnissen im Spannungsfeld accuracy vs interpretability kann maßgeschneidert begegnet werden. Mittels eines klar strukturierten und anpassbaren Prozesses ist es möglich, die Voraussetzungen für die erfolgreiche und akzeptierte Anwendung von Algorithmen zu schaffen.