Szenariobasierte Validierung selbstlernender Systeme mit individueller Benutzeraktion durch metamorphe Beziehungen

Die Integration von Künstlicher Intelligenz (KI) in unseren Alltag schreitet unaufhaltsam voran. Die kontinuierliche Weiterentwicklung und enge Zusammenarbeit zwischen Mensch und KI-Systemen macht vertrauenswürdige Ergebnisse dieser Systeme unerlässlich. Aktuelle Validierungsmethoden für KI-Systeme sind unzureichend, da sie auf traditionellen Testfällen und Testorakeln basieren, die für selbstlernende Systeme schwer zu spezifizieren sind. Besonders herausfordernd ist die Erstellung von Testorakeln für Systeme mit individueller Benutzerinteraktion aufgrund der spezifischen Verhaltensweisen der Nutzer. ... mehr

Der Stand der Technik umfasst zunächst die Klassifikation von Testorakeln in der Softwareentwicklung. Darauf aufbauend werden die Methoden zur Umsetzung dieser Testorakel analysiert. Die Analyse zeigt, dass das Metamorphe Testen eine geeignete Methode zur Lösung des Testorakelproblems darstellt und somit zur Validierung selbstlernender Systeme mit Benutzeraktionen beiträgt.

Basierend auf dem Stand der Technik wurde ein Konzept entwickelt, das die Verwendung von metamorphem Testen zur Validierung selbstlernender Systeme mit Benutzeraktionen einschließt. Das Konzept beginnt mit der Spezifikation relevanter Szenarien zur Überprüfung der Funktionalität selbstlernender Systeme. Zunächst wird eine Anforderungsanalyse durchgeführt, um die für das System relevanten Szenarien zu identifizieren und in funktionale Szenarien umzuwandeln. Diese logischen Szenarien werden entweder durch Expertenwissen oder mithilfe einer morphologischen Matrix strukturiert, was die Grundlage für die Szenarioerzeugung bildet. Im zweiten Bereich, der Szenarioerzeugung, werden die zuvor definierten logischen Szenarien in konkrete Szenarien umgewandelt. Eine zentrale Herausforderung ist hierbei die Erstellung realistischer Testdaten. Das Tool CAGEN (Context and Action Generation) wurde entwickelt, um modular Testdatensätze nach dem Providerprinzip zu erzeugen. CAGEN generiert Kontextdaten wie GPS-Koordinaten, Temperaturdaten und Benutzeraktionen, die spezifisch auf den jeweiligen Kontext abgestimmt sind, und ermöglicht so die Erzeugung realistischer Testdaten für Ausgangstestfälle. Die Ausgangstestfälle sind die Grundlage für das Metamorphe Testen. Metamorphe Tests überprüfen bestimmte Eigenschaften des Systems under Test anhand von zwei oder mehr Folgetestfällen. Ausgangstestfälle und Folgetestfälle stehen dabei in einer metamorphen Beziehung zueinander. Zur Definition geeigneter metamorpher Beziehungen wurde ein dreistufiges Ebenenmodell entwickelt. Basierend auf diesem Modell wurden acht metamorphe Beziehungen zur Validierung einer selbstlernenden Komfortfunktion identifiziert.

Die Evaluation des Konzepts umfasst die Überprüfung der Einhaltung der definierten metamorpher Beziehungen anhand von drei Szenarien für drei selbstlernende Systeme zur Erkennung von Benutzeraktionen. Zur Auswertung der Testergebnisse der mehrdimensionalen Testdatensätze wurde eine Clustervisualisierung entwickelt, die mittels Hauptkomponentenanalyse (PCA) eine zweidimensionale Abbildung erzeugt und somit den Vergleich der Testergebnisse ermöglicht.

The integration of Artificial Intelligence (AI) into our daily lives is progressing inexorably. The advancing development and collaboration between humans and AI systems require trustworthy results from these systems.

Current validation methods for AI systems are inadequate as they rely on traditional test cases and test oracles, which are difficult to specify for self-learning systems. Particularly challenging is the creation of test oracles for systems with individual user interaction due to the diverse and specific behaviors of users. The state of the art initially includes the classification of test oracles in software development. ... mehrBuilding on this, the methods for implementing these test oracles are analyzed. The analysis shows that metamorphic testing is a suitable method for solving the test oracle problem and thus contributes to the validation of self-learning systems with user actions.

Based on the state of the art, a concept was developed that includes the use of metamorphic testing for the validation of self-learning systems with user actions. The concept begins with the specification of relevant scenarios to verify the functionality of self-learning systems. Initially, a requirements analysis is conducted to identify the scenarios relevant to the system and convert them into functional scenarios. These logical scenarios are structured either through expert knowledge or with the help of a morphological matrix, forming the basis for scenario generation. In the second phase, scenario generation, the previously defined logical scenarios are transformed into concrete scenarios. A central challenge here is the creation of realistic test data. The tool CAGEN (Context and Action Generation) was developed to modularly generate test datasets following the provider principle. CAGEN generates context data such as GPS coordinates, temperature data, and user actions, which are specifically tailored to the respective context, thereby enabling the creation of realistic test data for initial test cases. These initial test cases form the basis for metamorphic testing. Metamorphic tests verify certain properties of the system under test using two or more follow-up test cases. Initial test cases and follow-up test cases are in a metamorphic relationship with each other. To define suitable metamorphic relationships, a three-tier model was developed. Based on this model, eight metamorphic relationships were identified for the validation of a self-learning comfort function.

The evaluation of the concept includes verifying compliance with the defined metamorphic relationships using three scenarios for three self-learning systems for detecting user actions. For the evaluation of the test results from the multidimensional test datasets, a cluster visualization was developed that uses Principal Component Analysis (PCA) to generate a two-dimensional representation, thereby enabling the comparison of the test results.