Validation of the MAB-EX Framework through Requirements Analysis and a Case Study

In vielen Bereichen des alltäglichen Lebens entscheiden und handeln Softwaresysteme
zunehmend autonom. Damit überlassen wir ihnen auch zunehmend mehr Verantwortung.
Um ihnen dabei vertrauen zu können, müssen ihre Handlungen transparent, verständlich
und nachvollziehbar sein. Dies wird jedoch immer komplizierter, speziell auch durch
Systemkomponenten, die auf maschinellem Lernen basieren. Damit aber die nötige
Transparenz und Verständlichkeit gewährleistet werden kann, müssen diese Systeme ihr
Verhalten selbst erklären können.
Zu diesem Zweck wurde das Monitor, Analyze, Build, Explain (MAB-EX) Referenz-
... mehr
Framework entwickelt und kontinuierlich verbessert. Da das Framework jedoch noch
relativ ungenau ist, vergleicht diese Arbeit Anforderungen an solche selbst-erklärbaren
Systeme aus architektonischer und Nutzersicht. Das Ziel dabei ist herauszufinden, ob
der aktuelle Stand des Frameworks ausreicht, oder ob zusätzliche Aspekte eingearbeitet
werden sollten.
Durch eine literaturbasierte Anforderungsanalyse mit einem Fokus auf MAB-EX wurden
auf architektonischer Seite 77 Anforderungen identifiziert. Zwar sind nicht alle davon
notwendig, um Systemen Selbsterklärbarkeit zu ermöglichen, doch ihre Erfüllung würde
zu qualitativeren Erklärungen führen. Auf Nutzerseite wurden durch eine Fallstudie
eines Transport-Management-Systems 21 allgemeinere Anforderungen abgeleitet, indem
Funktionalitätsbedarfe aus Nutzer-Stories extrahiert wurden.
Durch einen Vergleich beider Anforderungsmengen konnten Aspekte gefunden
werden, die für MAB-EX von Nutzen sein könnten: Abgesehen von einigen sehr technischen
Anforderungen konnten alle gefundenen architektonischen Anforderungen durch
Nutzeranforderungen bestätigt werden. Da diese Ähnlichkeiten zwischen den Mengen
bidirektional sind, wurden auch umgekehrt alle Nutzeranforderungen durch architektonische
Anforderungen abgedeckt. Betrachtet man jedoch nur die architektonischen
Anforderungen, die bisher explizit in MAB-EX eingearbeitet wurden, so decken diese
nicht alle Nutzer-Anforderungen ab. Diese nicht abgedeckten Anforderungen sollten
daher noch in MAB-EX integriert werden, wenn dieses den Anspruch hat, ein vollständiges
Framework darzustellen.

Autonomous software systems are increasingly making decisions and taking action
in many areas of everyday life. With this, we let them take on increasingly more
responsibility. Trusting them with this should require their behaviour to be transparent,
understandable and comprehensible. However, this is becoming more and more complicated,
especially with machine-learning-based systems. In order to ensure the necessary
transparency and understandability, these systems should be capable of explaining their
behaviour themselves.
To this end, the Monitor, Analyze, Build, Explain (MAB-EX) framework has been developed
... mehr
and is continuously being improved as a reference framework. Since the framework
is still defined fairly coarse, this thesis compares requirements for self-explainable systems
from architectural- and user-perspectives. The goal is to analyze whether the current state
of the framework is sufficient or if additional aspects should be incorporated.
From an architectural perspective, a requirements analysis based on a literature review
identified 77 requirements focused on the idea of MAB-EX. While not all are strictly
necessary for systems to achieve self-explainability, meeting all of them may result in
higher-quality explanations. From a user-perspective, through conducting a case study of
a Transport Management System (TMS), 21 more abstract requirements were derived by
analysing needs indicated in user stories.
A comparison of both sets of requirements revealed aspects that could be of use for
MAB-EX: Apart from some very technical requirements, all architectural requirements
found could be confirmed by user-requirements. Since the similarities between the sets are
bidirectional, all user-requirements were also covered by architectural requirements inversely.
However, when considering only architectural requirements that were explicitly
incorporated into MAB-EX to date, not every user-requirement was covered. Therefore,
for MAB-EX to be considered a complete framework, non-covered requirements may need
to be incorporated.