Assessing the Scalability of Variability Artifact Transformations using TRAVART

Es gibt verschiedene Formate and Artefakttypen zur Darstellung von Variabilität in Software-Produktlinien (SPL). Da es für verschiedene Formate verschiedene Werkzeuge zur Analyse gibt, ist es manchmal erforderlich, zwischen Artefakttypen bzw. Formate zu transformieren. Die Transformation zwischen zwei beliebigen Artefakttypen ist nicht trivial, es existiert nicht immer eine natürliche Korrespondenz der Strukturen. Es ist möglich, über Teiltransformationen Modelle transitiv zu transformieren, auch wenn es keine direkte Transformation zwischen Formate gibt. Solche transitive Transformationen werden von dem Framework TRAVART zunutze gemacht, dies nutzt ein(e) Pivotformat/-sprache namens Universal Variability Language (UVL). ... mehrTRAVART kann durch Plugins mit weiteren Transformationen von und zu UVL erweitert werden. Es gibt Use-Cases, wo TRAVART in einer automatisierten Pipeline eingesetzt werden könnte, aber es gibt keine Studie dazu, ob TRAVART tatsächlich für diesen Einsatz geeignet ist. Um dies zu untersuchen, implementieren wir eine Benchmarking-Interface für und in TRAVART und benchmarken drei aktiv gewarteten TRAVART-Plugins. Wir sammeln über 3000 Modelle aus der Literatur für das Benchmarking von Transformationen und setzen zudem diverse statische Methoden ein, um die Skalierbarkeit von TRAVART-Modelltransformationen zu analysieren. Unsere Ergebnisse besagen, dass die durchschnittliche Transformationszeit über alle Pfade und Plugins hinweg für alle Modelle im Benchmarking-Dataset unter fünf Sekunden liegt. Anschließende Korrelationsanalyse liefert Laufzeitschätzer in $\mathcal{O}(n^2)$ mit hohen $R^2$-Werten, wobei es auch einige Fälle gibt, wo die Güte des Schätzers nicht ohne weiteres eindeutig interpretiert werden kann. Kontrollgruppen mit kleineren und viel größeren Modellen zeigen: Bei kleineren Modellen dominiert fixer Overhead der Transformation (Mittelwert als bester Schätzer); bei größeren Modellen werden Transformationszeiten unterschätzt, jedoch lässt sich einen Sprung in der Laufzeitkurve erkennen, was möglicherweise auf eine Einschränkung durch Speicherhierarchie oder Single-Thread-Ausführung hinweist. Die Verwendung der Transformationskomplexität als skalierenden Faktor für Modellgröße verbessert die Prädiktorqualität nur wenig. Insgesamt sind TRAVART-Plugin-Transformationen für die in unserem Benchmarking-Datensatz enthaltenen (auch im industriell-prakischen Kontext erwartbaren) Modellgrößen skalierbar, für einen Entschluss für deutlich größere Modelle müssen zusätzliche Einflussfaktoren berücksichtigt werden.

There are different types of artifacts for the representation of variability in a Software Product Line (SPL). Because there also exists different analysis tools for different artifact types, it is sometimes required to transform between different formats to make models available for analysis with a certain tool. Between different artifact types, there is not always a natural mapping of structures. Thus, a model transformation between two arbitrary formats is not trivial. A model transformation is usually between two different formats, however, it is possible to transitively transform models from one format to another over multiple partial transformations. ... mehrThe framework TRAVART utilizes this over a pivot model format called Universal Variability Language (UVL) and a plugin architecture: Though plugins, further transformations from and to UVL can be added to TRAVART, providing support for other variability artifacts. There are use cases where TRAVART could be utilized in an automated pipeline, but there it has not yet been explored if it is actually adequate to use TRAVART in this manner, especially in regard to scalability of runtime. To investigate this, we implement a benchmarking facility in TRAVART and benchmark three actively maintained TRAVART plugins. We collect over 3000 models from literature for benchmarking and use various statistical methods to analyze the claim that TRAVART model transformations scale. Our results show that, for the models in our chosen benchmarking datasets, in every possible path and for all plugins, the mean transformation time is less than five seconds. Correlation analysis provides estimators in $\mathcal{O}(n^2)$ for average transformation time as a function of model size with high $R^2$ across all plugins and paths with only a few exceptions where the $R^2$ value is more open to interpretation. We use control groups with larger and smaller models to see how well our predictors work for the two edge cases. For smaller models, transformation time is best predicted by a mean line, which can be explained by a fixed transformation overhead, i.e. constant factor in runtime. For the largest models, the predictors fit for the benchmarking models underestimate run time, although there is some gap in the runtime curve that would imply some other factor which we have not considered, such as limitations due to memory hierarchy or single-thread execution. We also investigate transformation complexity as a scaling metric for model size, which however leads to only a nominal improvement in predictor quality. Ultimately we suggest that TRAVART plugin transformations do scale, especially for the range of model sizes of the models in our benchmarking dataset, which also includes real-world, industry size models. However, for larger models, further factors must be investigated for a definitive answer.