Automatisiertes Testen mobiler Applikationen mit Hilfe von Large Language Models und Reinforcement Learning

Die zunehmende Bedeutung mobiler Applikationen bei gleichzeitig steigenden Qualitätsanforderungen erfordert effiziente Methoden zur automatisierten Softwarequalitätssicherung.
Mit dem Ziel einer umfassenden Qualitätssicherung entwickelt diese Arbeit ein KI-gestütztes Testframework für mobile Applikationen, das erstmals Large-Language-Models (LLMs) zur Unit-Test-Generierung mit Reinforcement Learning-basierten Methoden zur GUI-Exploration kombiniert.
Der zweiphasige Ansatz umfasst eine Trainingsphase zur Modelloptimierung und Feinabstimmung von lokal lauffähigen Modellen sowie eine Operationsphase zur Testdurchführung.
... mehr

Die LLM-basierte White-Box-Komponente wird auf einem spezialisierten und für diese Arbeit angepassten Datensatz trainiert und erreicht mit proprietären Modellen eine Anweisungsüberdeckung von bis zu 73%.
Lokale Modelle unter 13 Milliarden Parametern eignen sich primär als Assistenzsysteme.
Die implementierte Reparaturstrategie eliminiert syntaktische Fehler und ermöglicht die automatisierte Verbesserung fehlerhafter Tests.

Die RL-basierte Black-Box-Komponente realisiert durch einen trainierten Agenten die systematische Exploration der Benutzeroberfläche.
Eine YOLO-basierte Feature-Extraktion beschleunigt das initiale Training.
Die containerisierte Architektur gewährleistet reproduzierbare Testbedingungen und ermöglicht eine flexible Integration verschiedener Modelle.

Ein webbasiertes Frontend visualisiert die Testergebnisse und ermöglicht die Echtzeitüberwachung der Testausführung.
Die systematische Evaluation nach den Standards der SQuaRE-Normenreihe demonstriert die Effektivität des Frameworks für die automatisierte Qualitätssicherung mobiler Applikationen.
Das System ermöglicht Entwicklern eine effiziente Generierung von Basistests und setzt damit Ressourcen für komplexere Testszenarien frei.

The increasing importance of mobile applications coupled with rising quality requirements necessitates efficient methods for automated software quality assurance.
Aiming at comprehensive quality assurance, this thesis develops an AI-driven testing framework for mobile applications that for the first time combines Large-Language-Models (LLMs) for unit test generation with Reinforcement Learning-based methods for GUI exploration.
The two-phase approach encompasses a training phase for model optimization and fine-tuning of locally executable models, followed by an operational phase for test execution.
... mehr

The LLM-based white-box component is trained on a specially created dataset and achieves statement coverage of up to 73% using proprietary models.
Local models below 13 billion parameters primarily serve as assistance systems.
The implemented repair strategy eliminates syntactic errors and enables automated improvement and repair of faulty tests.

The RL-based black-box component enables systematic exploration of the user interface through an optimized agent.
A YOLO-based feature extraction accelerates initial training.
The containerized architecture ensures reproducible test conditions and allows flexible integration of various models.

A web-based frontend visualizes test results and enables real-time monitoring of test execution.
The systematic evaluation according to SQuaRE standards demonstrates the effectiveness of the framework for automated quality assurance of mobile applications.
The system enables developers to efficiently generate basic tests, freeing resources for more complex testing scenarios.