Towards Continuous Integration of architectural Performance Models for Lua Applications

Da Softwaresysteme immer komplexer und umfangreicher werden, wird es immer schwieriger sicherzustellen, dass die Qualitätsanforderungen, wie z. B. die Leistung, während des gesamten Lebenszyklus der Softwareentwicklung durchgängig erfüllt werden. Die Architektur-basierte Leistungsvorhersage (Architecture-based Performance Prediction, AbPP) bewertet die Leistungsmerkmale von Softwaresystemen auf der Grundlage von architektonischen Leistungsmodellen (aPMs). Wenn sie mit den sich entwickelnden Softwaresystemen konsistent gehalten werden, ermöglichen aPMs die Bewertung von Entwurfsalternativen, ohne deren vollständige Implementierung zu erfordern. ... mehrDiese Konsistenzerhaltung ist eine der
zentralen Herausforderungen von AbPP.

Der Ansatz der kontinuierlichen Integration von Architektur-basierten Leistungsmodellen (Continuous Integration of architectural Performance Models, CIPM) wurde eingeführt, um diese Herausforderung zu bewältigen. Das Ziel von CIPM ist es, automatische aPM-Aktualisierungen in Continuous Integration (CI) und Continuous Delivery (CD) Pipelines zu integrieren, und somit den Aufwand für die Konsistenzerhaltung der Modelle zu reduzieren. Während CIPM bereits erfolgreich auf Java-basierte Projekte angewandt wurde, bleibt die Verallgemeinerbarkeit des Ansatzes auf Projekte anderer Programmiersprachen weitgehend unbehandelt.

Die vorliegende Arbeit befasst sich mit zwei Kernfragen im Zusammenhang mit der Verallgemeinerbarkeit von CIPM: (1) Der Erarbeitung eines systematischen, halbautomatischen Ansatzes zur Schaffung einer geeigneten Datenbasis für die Untersuchung der Verallgemeinerbarkeit von CIPM, und (2) der Analyse der Herausforderungen, die dynamisch typisierte Programmiersprachen für die Generierung und Serialisierung von Code-Modellen (CM) im Rahmen des CIPM-Ansatzes darstellen, welche erforderlich sind, um Änderungen von einem eingehenden Commit zum aPM zu übertragen. Letzteres wird anhand des repräsentativen Beispiels Lua untersucht und umfasst die Erweiterung des bestehenden Lua-CM-Generators und -Serialisieres, um die identifizierten Herausforderungen zu bewältigen und seine Anwendbarkeit auf allgemeine Lua-Softwareprojekte sicherzustellen.

Die Evaluation des halbautomatischen Ansatzes ergibt zwei Mengen öffentlich zugänglicher Lua- und Java-Projekte, die sich für die Erforschung des CIPM Ansatzes eignen, unter minimiertem manuellen Aufwand für deren Auswahl. Darüber hinaus zeigt die Anwendung der erweiterten Lua-CM-Generierung und -Serialisierung auf eine Teilmenge dieser Projekte die Effektivität der Erweiterung. Während die Evaluation auch Einschränkungen in den vorgeschlagenen Ansätzen und die breitere Anwendbarkeit von CIPM auf dynamisch typisierte Sprachen aufzeigt, bieten die Ergebnisse vielversprechende Einblicke in seine potenzielle Verallgemeinerbarkeit. Letztendlich trägt diese Arbeit dazu bei, die Anwendbarkeit des CIPM-Ansatzes zu verbessern, indem wichtige Hindernisse für seine breitere Anwendbarkeit behandelt werden.

As software systems become increasingly complex and large-scale, ensuring that quality requirements, such as performance, are consistently met throughout the software development lifecycle becomes increasingly challenging. Architecture-based Performance Prediction (AbPP) evaluates the performance characteristics of software systems based on architectural Performance Models (aPMs). When kept consistent with the evolving software systems, aPMs enable the assessment of design alternatives without requiring their full implementation. However, maintaining this consistency is a key challenge of AbPP.
... mehr

Continuous Integration of architectural Performance Models (CIPM) has been introduced to address this challenge by integrating automated aPM updates into Continuous Integration (CI) and Continuous Delivery (CD) pipelines, reducing the effort required to keep models up to date. While CIPM has been successfully applied to Java-based projects, its generalisability to projects of other programming languages requires further investigation.

This thesis addresses two key issues related to evaluating the generalisability of the CIPM: (1) It presents a systematic, semi-automated approach for establishing a suitable data basis to
investigate CIPM’s generalisability, and (2) it analyses the challenges posed by dynamically typed programming languages for Code Model (CM) generation and serialisation, which is required within the CIPM approach to propagate changes from an incoming commit to the aPM. The latter is explored on the representative example Lua, and includes extension to the existing Lua CM generator and serialiser to address the identified challenges and ensure its applicability to general Lua software projects.

The evaluation of the semi-automated approach results in curated sets of real-world, open-source Lua and Java projects suitable for CIPM research, significantly reducing the manual effort required for their selection. In addition, the application of the extended Lua CM generator and serialiser to a subset of these projects demonstrates its effectiveness, despite the inherent challenges identified for static reference resolution in dynamically typed languages. While the evaluation also highlights certain limitations in the proposed approaches and the broader applicability of CIPM to dynamically typed languages, the results provide promising insights into its potential generalisability. Ultimately, this work contributes to enhancing the usability of the CIPM approach by addressing key obstacles to its broader applicability.