Abstract:
Das 21. Jahrhundert ist durch Datenströme enormen Ausmaßes gekennzeichnet. Dies hat die Popularität von Berechnungsmodellen, die sehr datenintensiv sind, wie z.B. neuronale Netze, drastisch erhöht. Aufgrund ihres großen Erfolges bei der Mustererkennung sind sie zu einem leistungsstarken Werkzeug für Vorhersagen, Klassifizierung und Empfehlungen in der Informatik, Statistik, Wirtschaft und vielen anderen Disziplinen geworden. Trotz dieser verbreiteten Anwendung sind neuronale Netze Blackbox-Modelle, d.h. sie geben keine leicht interpretierbaren Einblicke in die Struktur der approximierten Funktion oder in die Art und Weise, wie die Eingabe in die entsprechende Ausgabe umgewandelt wird. ... mehrDie jüngste Forschung versucht, diese Blackboxen zu öffnen und ihr Innenleben zu enthüllen. Bisher haben sich die meisten Forschungsarbeiten darauf konzentriert, die Entscheidungen eines neuronalen Netzes auf einer sehr technischen Ebene und für ein Informatikfachpublikum zu erklären. Da neuronale Netze immer häufiger eingesetzt werden, auch von Menschen ohne tiefere Informatikkenntnisse, ist es von entscheidender Bedeutung, Ansätze zu entwickeln, die es ermöglichen, neuronale Netze auch für Nicht-Experten verständlich zu erklären. Das Ziel ist, dass Menschen verstehen können, warum das neuronale Netz bestimmte Entscheidungen getroffen hat, und dass sie das Ergebnis des Modells durchgehend interpretieren können.
Diese Arbeit beschreibt ein Rahmenwerk, das es ermöglicht, menschlich verständliche Erklärungen für neuronale Netze zu liefern. Wir charakterisieren menschlich nachvollziehbare Erklärungen durch sieben Eigenschaften, nämlich Transparenz, Überprüfbarkeit, Vertrauen, Effektivität, Überzeugungskraft, Effizienz und Zufriedenheit. In dieser Arbeit stellen wir Erklärungsansätze vor, die diese Eigenschaften erfüllen. Zunächst stellen wir TransPer vor, ein Erklärungsrahmenwerk für neuronale Netze, insbesondere für solche, die in Produktempfehlungssystemen verwendet werden. Wir definieren Erklärungsmaße auf der Grundlage der Relevanz der Eingaben, um die Vorhersagequalität des neuronalen Netzes zu analysieren und KI-Anwendern bei der Verbesserung ihrer neuronalen Netze zu helfen. Dadurch werden Transparenz und Vertrauen geschaffen. In einem Anwendungsfall für ein Empfehlungssystem werden auch die Überzeugungskraft, die den Benutzer zum Kauf eines Produkts veranlasst, und die Zufriedenheit, die das Benutzererlebnis angenehmer macht, berücksichtigt. Zweitens, um die Blackbox des neuronalen Netzes zu öffnen, definieren wir eine neue Metrik für die Erklärungsqualität ObAlEx in der Bildklassifikation. Mit Hilfe von Objekterkennungsansätzen, Erklärungsansätzen und ObAlEx quantifizieren wir den Fokus von faltenden neuronalen Netzwerken auf die tatsächliche Evidenz. Dies bietet den Nutzern eine effektive Erklärung und Vertrauen, dass das Modell seine Klassifizierungsentscheidung tatsächlich auf der Grundlage des richtigen Teils des Eingabebildes getroffen hat. Darüber hinaus ermöglicht es die Überprüfbarkeit, d. h. die Möglichkeit für den Benutzer, dem Erklärungssystem mitzuteilen, dass sich das Modell auf die falschen Teile des Eingabebildes konzentriert hat. Drittens schlagen wir FilTag vor, einen Ansatz zur Erklärung von faltenden neuronalen Netzwerken durch die Kennzeichnung der Filter mit Schlüsselwörtern, die Bildklassen identifizieren. In ihrer Gesamtheit erklären diese Kennzeichnungen die Zweckbestimmung des Filters. Einzelne Bildklassifizierungen können dann intuitiv anhand der Kennzeichnungen der Filter, die das Eingabebild aktiviert, erklärt werden. Diese Erklärungen erhöhen die Überprüfbarkeit und das Vertrauen. Schließlich stellen wir FAIRnets vor, das darauf abzielt, Metadaten von neuronalen Netzen wie Architekturinformationen und Verwendungszweck bereitzustellen. Indem erklärt wird, wie das neuronale Netz aufgebaut ist werden neuronale Netzer transparenter; dadurch dass ein Nutzer schnell entscheiden kann, ob das neuronale Netz für den gewünschten Anwendungsfall relevant ist werden neuronale Netze effizienter.
Alle vier Ansätze befassen sich mit der Frage, wie man Erklärungen von neuronalen Netzen für Nicht-Experten bereitstellen kann. Zusammen stellen sie einen wichtigen Schritt in Richtung einer für den Menschen verständlichen KI dar.
Abstract (englisch):
The 21st century is characterized by an influx of tremendous amounts of data. This has dramatically increased the popularity of computational models that are very data-intensive such as neural networks. Due to the great success in pattern recognition, they have become a powerful tool for example in prediction, classification, and recommendation in computer science, statistics, economics, and many other disciplines. Despite this widespread use, neural networks are black-box models, meaning that they do not give any readily interpretable insights into the structure of the approximated function or into how input is transformed into its corresponding output. ... mehrRecent research has attempted to pry open these black boxes and reveal their inner workings. So far, most research has focused on explaining decisions of a neural network at a highly technical level and to a computer science expert audience. As neural networks become more widely deployed, including by people without a computer science background, it is crucial to develop approaches that allow for explanations of neural networks understandable to non-experts. The goal is that humans can understand why certain decisions were made by the neural network and can consistently interpret the model’s result.
This work describes a framework to provide human-understandable explanations of neural networks. We characterize human-understandable explanations by seven properties, namely transparency, scrutability, trust, effectiveness, persuasiveness, efficiency, and satisfaction. In this work, we present explanation approaches that satisfy these properties. First, we present TransPer, an explanatory framework for neural networks, in particular those used in product recommender systems. We define explanation measures based on input relevancies to understand the neural network’s prediction quality and to help AI practitioners improve their neural network. This captures transparency and trust. Additionally, in a recommendation system use case, persuasion, which persuades the user to buy a product, and satisfaction, which makes the user experience more pleasant, are also included. Second, to open the neural network black box, we define a new explanation quality metric ObAlEx for image classification. Using object detection approaches, explanation approaches, and ObAlEx, we quantify the focus of Convolutional Neural Networks on the actual evidence. This provides the users an effective explanation and trust, i.e., that the model has indeed made its classification decision based on the correct part of the input image. Furthermore, it enables scrutability, i.e., the capability for the user to declare that the model has focused on the wrong parts of the input image. Third, we propose FilTag, an approach to explain Convolutional Neural Networks by tagging the filters with keywords that identify classes of images. In aggregate, these tags explain what the filter does. Individual image classifications can then be intuitively explained in terms of the tags of the filters that the input image activates. These explanations enhance scrutability and trust. Finally, we present FAIRnets, which aims to process metadata such as architecture information and intended use. This makes neural networks more transparent, i.e., to explain the neural network’s architecture, which problems they solve, and so on, and more efficient, i.e., to help the user quickly decide whether the neural network is relevant for their intended use case.
All four approaches address the question of how to generate explanations of neural networks for non-experts. Together, they constitute an important step in the direction of human-understandable AI.
