Maschinelle Lernverfahren erklärbar machen

Quelle: Universität Stuttgart/Foto: U. Regenscheit

Maschinelle Lernverfahren erklärbar machen

Künstliche Intelligenz kommt immer häufiger auch in sicherheitskritischen Anwendungen zum Einsatz. Deshalb ist das Wissen darüber, wie sie zu ihren Entscheidungen kommt, essenziell. Forschung und Industrie haben das erkannt und arbeiten daran, dass die Blackbox-Algorithmen von heute künftig neben dem Ergebnis auch einen nachvollziehbaren Lösungsweg liefern.

Künstliche Intelligenz & Maschinelles Sehen

Mehr Beiträge zum Thema

Lesezeit ca. 12 Minuten

Am Abend des 18. März 2018, es war kurz vor 22 Uhr, schob Elaine Herzberg ihr Fahrrad über die vierspurige Mill Avenue in Tempe, einem Vorort von Phoenix, Arizona. Es war Nacht, sie trug ein schwarzes Oberteil und nutzte nicht den ausgewiesenen Fußgängerüberweg. Die Algorithmen des selbstfahrenden Testautos von Uber, das genau auf Herzberg zufuhr, waren sich lange uneins, womit sie es zu tun hatten. Der Wagen überfuhr die 49-jährige Obdachlose ungebremst. Sie starb wenig später im Krankenhaus. Die Sicherheitsfahrerin, Rafaela Vasquez, hatte nicht eingegriffen. Anstatt auf den Verkehr zu achten und die Hände einsatzbereit über dem Steuer zu halten, hatte sie den Blick nach unten gerichtet, wie das Video einer Überwachungskamera zeigt.

Wäre an jenem Abend alles gut gegangen, hätte der Wagen abgebremst und Herzberg die Straße unbeschadet überqueren können, hätte vermutlich nie jemand gefragt, wie die Algorithmen des selbstfahrenden Autos zu ihren Vorhersagen und Wahrscheinlichkeitsberechnungen gekommen waren. Doch weil sie eben manchmal Fehler begehen, Ergebnisse liefern, die Menschen enttäuschen, verärgern oder wie im beschriebenen Fall gar gefährden, ist es ein ernstzunehmendes Problem, dass ihre Lösungswege meist im Verborgenen liegen. Moderne Machine-Learning-Algorithmen (ML-Algorithmen) gleichen einer Blackbox. Sie folgen nicht mehr vorgegebenen Wenn-dann-Regeln, sondern erzeugen aus den Eingabedaten ein komplexes Modell, also ein automatisch generiertes Programm, auf dessen Ausgestaltung der Mensch allenfalls indirekt Einfluss nehmen kann.

»Je komplexer das Neuronale Netz ist, desto genauere, aber leider auch schwerer nachvollziehbare Ergebnisse liefert es«, bringt es Professor Marco Huber auf den Punkt, der am Fraunhofer IPA in Stuttgart das Zentrum für Cyber Cognitive Intelligence (CCI) leitet. Er hat es sich zur Aufgabe gemacht, diesem ständigen Abwägen zwischen Leistungsfähigkeit und Interpretierbarkeit eines Algorithmus ein Ende zu setzen. Künstliche Intelligenz (KI) soll in Zukunft erklärbare Entscheidungen treffen und nachvollziehbare Prognosen abgeben.

Datenschutz verlangt erklärbare KI

»Explainable Artificial Intelligence«, oder kurz »xAI«, heißt dieser Forschungszweig der Informatik, der auf die Initiative der Defense Advanced Research Projects Agency (DARPA) zurückgeht, einer Behörde des US-Verteidigungsministeriums. Lange hielt sich das Interesse der Industrie daran in engen Grenzen. Doch seit KI nicht mehr nur bei Amazon Bücher oder bei Netflix Filme empfiehlt, sondern in Produktionshallen Maschinen und Roboter dirigiert oder Autofahrern dabei hilft, ihren Wagen sicher durch belebte Innenstädte zu steuern und unfallfrei einzuparken, hat sich das grundlegend geändert. Denn warum sollten Menschen ihr Schicksal selbstfahrenden Autos oder kollaborativen Robotern anvertrauen, wenn deren Algorithmen intransparente und mitunter sogar falsche Entscheidungen fällen?

Aber nicht nur das menschliche Bedürfnis nach Sicherheit und einer Erklärung für unerwartete oder tiefgreifende Ereignisse, besonders negativer Art, sondern auch die Datenschutz-Grundverordnung (DSGVO) der Europäischen Union verleiht xAI Relevanz. Denn gemäß Artikel 12 sind Unternehmen, die personenbezogene Daten verarbeiten, verpflichtet, Betroffenen darüber »in präziser, transparenter, verständlicher und leicht zugänglicher Form« Auskunft zu geben. Das gilt nach Artikel 13 auch bei »einer automatisierten Entscheidungsfindung«, bei der betroffene Personen Anspruch auf »aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen« haben.

Noch grundsätzlicher wird eine 52-köpfige Expertengruppe der Europäischen Kommission, die im April 2019 »Ethik-Leitlinien für eine vertrauenswürdige KI« vorgelegt hat. Sie erklärt die EU-Verträge, die EU-Grundrechtecharta und die internationalen Menschenrechte zur Basis für die »Entwicklung, Einführung und Nutzung von KI-Systemen« und formuliert aufbauend darauf vier ethische Grundsätze: Vertrauenswürdige KI müsse (1) die Autonomie des Menschen achten, (2) Schaden verhüten, (3) fair und (4) erklärbar sein. Denn nur nachvollziehbare Entscheidungen könnten »ordnungsgemäß angefochten werden«.

Erklärbare Modelle

Diese rechtlichen und moralischen Rahmenbedingungen werfen eine Reihe von Fragen auf, mit denen sich xAI-Forscher wie Professor Marco Huber vom Fraunhofer IPA beschäftigen müssen. Zunächst: Welche Methoden und Verfahren gibt es überhaupt, damit uns Blackbox-Algorithmen künftig nicht nur ihr Ergebnis, sondern auch den Lösungsweg mitteilen?

Eine Antwort auf die Frage hängt davon ab, welches Modell dem KI-Verfahren zugrunde liegt. Denn es gibt von Natur aus erklärbare oder auch »Whitebox-Modelle«, die Anwender gut nachvollziehen können, und es gibt von Natur aus nicht erklärbare Modelle, für die ein alternativer Weg zur Erklärbarkeit gefunden werden muss. Bereits oben wurde erwähnt, dass erklärbare Modelle zwar der besseren Verständlichkeit dienen, ihre Genauigkeit für ein KI-Ergebnis jedoch oft nicht ausreicht. Hierzu gehören lineare Modelle. Dabei werden die Daten, je nachdem auf welcher Seite einer Geraden sie liegen, einer Klasse zugeordnet. Sie besitzen also eine nachvollziehbare Entscheidungsgrenze.

Eine weitere Erklärungshilfe für ML-Ergebnisse sind Entscheidungsbäume. Diese eignen sich insbesondere dann, wenn eine lineare Entscheidungsgrenze nicht mehr ausreicht, und repräsentieren anhand ihrer Verästelung regelbasierte mögliche Entscheidungspfade des Algorithmus. Die Entscheidungen sind hierarchisch gegliedert und führen so von der Ausgangsfrage entsprechend den Zwischenantworten zu einem Klassifizierungsergebnis. Allerdings können Entscheidungsbäume auch so komplex werden, dass sie wiederum unverständlich werden.

Als dritte Erklärungshilfe sind regelbasierte Systeme, die anhand von vorgegebenen Wenn-dann-Regeln Entscheidungen fällen, für Anwender prinzipiell gut nachvollziehbar. »Zwar ist ein Entscheidungsbaum auch bereits ein Regelsystem, ich kann diese Regeln aber noch einmal gesondert aufschlüsseln«, führt Huber aus. »So kann ich Regeln beispielsweise priorisieren oder alle gleich gewichten. Kommt es zu Widersprüchen, muss ich diese auflösen. Und auch hier muss ich aufpassen, dass die Anzahl der Regeln beherrschbar bleibt. Sonst habe ich gegenüber einem automatisierten Modell keinen Mehrwert mehr.«

Studien und Überblickspapier zu xAI

Deep-Learning-Ansätze ermöglichen die Erstellung hochpräziser Modelle für den Einsatz in unterschiedlichsten Anwendungsdomänen, etwa der Produktion oder Medizin. Allerdings haben diese Modelle Black-Box-Charakter, da die von ihnen gelernten Zusammenhänge so komplex und abstrakt sind, dass sie Menschen – selbst Experten – nicht mehr nachvollziehen können. Bei einigen Anwendungen, zum Beispiel in sicherheitskritischen Bereichen, ist jedoch nicht nur die Genauigkeit der Vorhersagen, sondern auch das Vertrauen in die Algorithmen von enormer Bedeutung.

Aus diesem Grund widmen sich das Fraunhofer IPA und das Institut für Innovation und Technik (iit) in zwei aufeinander abgestimmten Studien gemeinsam dem Thema xAI (engl. »explainable AI«). Das iit befasst sich dabei mit der Frage des konkreten Bedarfs und der Nutzbarkeit von xAI in der Industrie oder auch im Gesundheitswesen. Dies umfasst einerseits eine Analyse der Anforderungen an Erklärungen unter Berücksichtigung von unterschiedlichen Branchen und Zielgruppen sowie der derzeitigen und zukünftig geplanten Verwendung von KI-Algorithmen. Andererseits werden generelle Stärken und Schwächen verschiedener xAI-Lösungsansätze aufgezeigt. Das Fraunhofer IPA hingegen beschäftigt sich mit der Analyse derzeit populärer Erklärungsverfahren. Die Kategorisierung der ausgewählten Verfahren sowie deren Evaluation hinsichtlich diverser Bewertungskriterien soll es Lesern erleichtern, das passende Verfahren für ihren Anwendungsfall einzugrenzen.

Parallel zu beiden Studien liefert das Übersichtspapier »A Survey on the Explainability of Supervised Machine Learning« eine vollständige Taxonomie sowie einen Überblick über die verschiedenen Prinzipien und Methoden der Erklärbarkeit für überwachte maschinelle Lernverfahren. Nadia Burkart, Fraunhofer IOSB, und Marco Huber, Fraun-hofer IPA, betrachten dabei den Stand der Technik der letzten rund 30 Jahre. Das Überblickspapier erscheint im renommierten Journal of Artificial Intelligence Research (JAIR).

Zur Vorabveröffentlichung des Übersichtspapiers bei arXiv: https://arxiv.org/abs/2011.07876

Hilfsmittel zur Erklärbarkeit

Liegt einem KI-Ergebnis ein von Natur aus nicht erklärbares Modell zugrunde, wie beispielsweise ein tiefes Neuronales Netz, braucht es eine Art Übersetzungsleistung für Anwender. Denn hier gibt es im Gegensatz zu den erklärbaren Modellen keine so klare Entscheidungsgrenze für die Ergebnisgewinnung. Die Übersetzungsleistung kann dabei entweder global orientiert sein, also das Modell als Ganzes erklären, oder lokal ausgerichtet sein und erklären, warum eine bestimmte Eingabe x zu einer bestimmten Ausgabe y führt. Drei Verfahren seien beispielhaft ausgeführt.

Das erste Verfahren ist das Bilden eines Stellvertretermodells oder auch Surrogats. Dieses simuliert das Blackbox-Modell und trifft weitgehend gleiche Vorhersagen. Das Surrogat ist also ein Whitebox-Modell und ermöglicht globale Erklärungen. Meist werden Surrogate für die Erklärbarkeit Neuronaler Netze eingesetzt. Soll für ein Surrogat ein Entscheidungsbaum aus einem Neuronalen Netz extrahiert werden, kann die Komplexität des Netzes durch die sogenannte Regularisierung beeinflusst werden. »Dabei forciert man bestimmte Eigenschaften eines Netzes«, so Huber. Zudem ist es auch möglich, das Gewicht möglichst vieler Kanten im Netz automatisch auf null zu setzen, sodass diese wegfallen. Dies führt die sogenannte Spärlichkeit herbei. Sie macht das Netz nicht nur schlanker und damit nachvollziehbarer, sondern ermöglicht auch eine schnellere Auswertung, weil die Rechenzeit sinkt.

Das zweite Hilfsmittel sind kontrafaktische Erklärungen. Diese schlüsseln auf, welches Detail der Eingabedaten konkret ein Ergebnis herbeiführte. Sie dienen also der lokalen Erklärbarkeit. So könnte ein Algorithmus, der über Kreditvergaben entscheidet, als Erklärung ausspielen: »Ihr Kreditgesuch wurde abgelehnt, weil Ihr Einkommen zu niedrig ist, um die Zinsen bedienen zu können.« Dieses Hilfsmittel macht nicht nur ML-Anwendungen verständlicher, sondern beinhaltet auch eine Handlungsempfehlung. Wenn der Anwender weiß, dass aus einer Summe von Eingabedaten genau die Eingabe x zum Ergebnis y führte, kann eine kleinstmögliche Veränderung der Eingangsdaten eine andere Ausgabe erzeugen. Der Bankkunde hätte dann also die Wahl, ob er lieber einen niedrigeren Kredit aufnehmen oder mit dem Chef über eine Gehaltserhöhung verhandeln möchte.

Erklärungsrepräsentationen sind schließlich eine dritte Möglichkeit, um eine Erklärung herbeizuführen und diese sehr anwenderspezifisch zu gestalten. Hierbei können Modelle visualisiert oder mithilfe von Narrativen, virtueller Realität, Animationen oder Sprachausgaben erklärt werden. »In der Bildverarbeitung möchte ich beispielsweise wissen, warum ein Foto als Katze und nicht als Hund klassifiziert wurde. Dafür nutzen wir sogenannte Heatmap-Technologien. Diese heben hervor, welche Teile des Bildes wichtig oder unwichtig für die Entscheidung waren«, erklärt Huber. »Oder eine Textverarbeitung schlüsselt auf, weshalb eine E-Mail als Spam deklariert wurde.«

Kriterien für die Erklärbarkeit

Aber welche Kriterien gelten überhaupt für die Erklärbarkeit von Blackbox-Algorithmen? Die Antwort: Simulierbarkeit, Unterteilbarkeit und algorithmische Transparenz. Simulierbarkeit meint, dass alle Rechenschritte eines KI-Modells in angemessener Zeit auswertbar sein müssen. Das gilt eben beispielsweise nicht mehr für Neuronale Netze, weil sie Millionen an Gewichten, sprich: Rechenoperationen, umfassen. Unterteilbarkeit bedeutet, dass alle Bestandteile eines KI-Modells wie Daten, Parameter und Berechnungen intuitiv sein müssen. Auch dies gilt nur für wenige KI-Modelle wie beispielsweise Entscheidungsbäume, die anhand klarer Kriterien Entscheidungen treffen. Und schließlich sollte der Lernalgorithmus selbst auch nachvollziehbar sein. Bei einem linearen Modell ist dies möglich, weil es eine nachvollziehbare Entscheidungsgrenze gibt (etwas gehört zur Menge a oder zur Menge b). Im Vergleich dazu ist die Entscheidungsgrenze bei Neuronalen Netzen stark nichtlinear und nicht mehr explizit gegeben.

KI für sichere Mensch-Roboter-Kooperation

Ein wichtiges Anwendungsgebiet für xAI ist die Mensch-Roboter-Kooperation (MRK). Dort sind globale Erklärungen, die das Modell als Ganzes erklären, unabdingbar. Denn bei der vorgeschriebenen Risiko- und Gefährdungsbeurteilung nach ISO 12100 kommt immer häufiger das sogenannte Reinforcement Learning (RL) zum Einsatz, ein maschinelles Lernverfahren, bei dem ein Roboter für richtiges Handeln belohnt wird und bestrebt ist, die Summe aller Belohnungen zu maximieren.

Mithilfe von RL lernt ein Roboter an einem virtuellen MRK-Arbeitsplatz, wie er trotz der völlig unvorhersehbaren Bewegungen eines Menschen seine Montageaufgabe erledigen kann, ohne jemanden zu verletzen. Weil beim RL aber ein Neuronales Netz zum Einsatz kommt, das ein Sicherheitsbeauftragter nicht durchdringen kann, wird er nie die Verantwortung für Sicherheitsimplementierungen übernehmen, die ihm ein Algorithmus vorschlägt. Das wäre grob fahrlässig und könnte vor Gericht enden.

Die Forscher um Huber wollen nun verständliche Erklärungen für die Sicherheitsimplementierungen extrahieren, die das Neuronale Netz vorschlägt, und dabei den Informationsverlust so gering wie möglich halten. So möchten sie es Sicherheitsbeauftragten ermöglichen, die Schutzmaßnahmen, die die Algorithmen vorsehen, zu prüfen und anschließend zu bestätigen oder zu verwerfen. Ihr Einverständnis vorausgesetzt, leitet das System automatisch einen Code für die Speicher programmierbare Steuerung (SPS) des geplanten MRK-Arbeitsplatzes ab.

Wachsende Nachfrage nach xAI

Die Relevanz von xAI zeigt sich für Huber auch daran, dass er und das CCI seit einigen Monaten immer häufiger von namhaften Firmen wie Volkswagen oder Arvato kontaktiert werden, die für ihre Produkte und Prozesse transparente Algorithmen benötigen. Mit Forschungsprojekten wie dem KI-Fortschrittszentrum »Lernende Systeme« tragen Huber und zahlreiche weitere Wissenschaftler dazu bei, dass es womöglich bald nicht mehr nötig ist, die Leistungsfähigkeit und Interpretierbarkeit von ML-Algorithmen gegeneinander abzuwägen. Gleichzeitig erhöht die Erklärbarkeit automatisiert getroffener Entscheidungen oder Prognosen das Vertrauen in KI und hilft Menschen, unliebsame Ergebnisse zu akzeptieren.

Entwicklern von KI hilft xAI dabei, ihre eigenen Methoden besser zu verstehen und bei fehlerhaftem Einsatz zu korrigieren. Denn wenn bekannt ist, weshalb und an welcher Stelle ein Algorithmus den falschen Lösungsweg eingeschlagen hat, können Informatiker viel einfacher und schneller Fehler beheben. Tragische Ereignisse wie der Unfalltod von Elaine Herzberg werden damit in Zukunft unwahrscheinlicher. Ganz vermeiden lassen werden sie sich aber nicht. Denn schließlich werden Algorithmen von Menschen geschrieben – und die machen nun mal Fehler.

Weitere Informationen

Produktblatt xAI – Erklärbarkeit Maschineller Lernverfahren
Leit- und Zukunftsthema Künstliche Intelligenz in der Produktion
Studie Erklärbare KI in der Praxis – Anwendungsorientierte Evaluation von xAI-Verfahren

Ihr Ansprechpartner

E-Mail senden