Validation of the MAB-EX Framework through Requirements Analysis and a Case Study

In vielen Bereichen des alltäglichen Lebens entscheiden und handeln Softwaresysteme zunehmend autonom. Damit überlassen wir ihnen auch zunehmend mehr Verantwortung.
Um ihnen dabei vertrauen zu können, müssen ihre Handlungen transparent, verständlich und nachvollziehbar sein. Dies wird jedoch immer komplizierter, speziell auch durch Systemkomponenten, die auf maschinellem Lernen basieren. Damit aber die nötige Transparenz und Verständlichkeit gewährleistet werden kann, müssen diese Systeme ihr Verhalten selbst erklären können.
Zu diesem Zweck wurde das Monitor, Analyze, Build, Explain (MAB-EX) Referenz-Framework entwickelt und kontinuierlich verbessert. ... mehrDa das Framework jedoch noch relativ ungenau ist, vergleicht diese Arbeit Anforderungen an solche selbst-erklärbaren Systeme aus architektonischer und Nutzersicht. Das Ziel dabei ist herauszufinden, ob der aktuelle Stand des Frameworks ausreicht, oder ob zusätzliche Aspekte eingearbeitet werden sollten.
Durch eine literaturbasierte Anforderungsanalyse mit einem Fokus auf MAB-EX wurden auf architektonischer Seite 77 Anforderungen identifiziert. Zwar sind nicht alle davon notwendig, um Systemen Selbsterklärbarkeit zu ermöglichen, doch ihre Erfüllung würde zu qualitativeren Erklärungen führen. Auf Nutzerseite wurden durch eine Fallstudie eines Transport-Management-Systems 21 allgemeinere Anforderungen abgeleitet, indem Funktionalitätsbedarfe aus Nutzer-Stories extrahiert wurden.
Durch einen Vergleich beider Anforderungsmengen konnten Aspekte gefunden werden, die für MAB-EX von Nutzen sein könnten: Abgesehen von einigen sehr technischen Anforderungen konnten alle gefundenen architektonischen Anforderungen durch Nutzeranforderungen bestätigt werden. Da diese Ähnlichkeiten zwischen den Mengen bidirektional sind, wurden auch umgekehrt alle Nutzeranforderungen durch architektonische Anforderungen abgedeckt. Betrachtet man jedoch nur die architektonischen Anforderungen, die bisher explizit in MAB-EX eingearbeitet wurden, so decken diese nicht alle Nutzer-Anforderungen ab. Diese nicht abgedeckten Anforderungen sollten daher noch in MAB-EX integriert werden, wenn dieses den Anspruch hat, ein vollständiges Framework darzustellen.

Autonomous software systems are increasingly making decisions and taking action in many areas of everyday life. With this, we let them take on increasingly more
responsibility. Trusting them with this should require their behaviour to be transparent, understandable and comprehensible. However, this is becoming more and more complicated, especially with machine-learning-based systems. In order to ensure the necessary transparency and understandability, these systems should be capable of explaining their behaviour themselves.
To this end, the Monitor, Analyze, Build, Explain (MAB-EX) framework has been developed and is continuously being improved as a reference framework. ... mehrSince the framework is still defined fairly coarse, this thesis compares requirements for self-explainable systems from architectural- and user-perspectives. The goal is to analyze whether the current state of the framework is sufficient or if additional aspects should be incorporated.
From an architectural perspective, a requirements analysis based on a literature review identified 77 requirements focused on the idea of MAB-EX. While not all are strictly necessary for systems to achieve self-explainability, meeting all of them may result in higher-quality explanations. From a user-perspective, through conducting a case study of a Transport Management System (TMS), 21 more abstract requirements were derived by analysing needs indicated in user stories.
A comparison of both sets of requirements revealed aspects that could be of use for MAB-EX: Apart from some very technical requirements, all architectural requirements found could be confirmed by user-requirements. Since the similarities between the sets are bidirectional, all user-requirements were also covered by architectural requirements inversely.
However, when considering only architectural requirements that were explicitly incorporated into MAB-EX to date, not every user-requirement was covered. Therefore, for MAB-EX to be considered a complete framework, non-covered requirements may need to be incorporated.