Hierarchical Classification of Design Decisions using pre-trained Language Models

Die Software-Architektur Dokumentation (SAD) ist ein integrales Artefakt eines Software Projektes. Die SAD trägt zum fortwährenden Erfolg eines Software Projektes bei, indem sie ein gemeinsames Verständnis der Software Architektur gewährleistet, wichtige Entwurfsentscheidungen dokumentiert und einer Erosion der Software vorbeugt. Um die Qualität von SADs zu verbessern und nachgelagerte Aufgaben zu unterstützen, ist eine automatische Klassifizierung dieser Entwurfsentscheidungen erstrebenswert. In dieser Arbeit implementieren und evaluieren wir einen Ansatz zur automatischen Identifikation und Klassifizierung von Entwurfsentscheidungen auf der Grundlage einer feingranularen Taxonomie, bei der wir eine hierarchische Klassifikationsstrategie mit dem Einsatz von Transfer-Lernen durch vortrainierter Sprachmodelle kombinieren. ... mehrDer Beitrag dieser Arbeit besteht darin, den Vorteil einer hierarchischen Klassifikationsstrategie für die automatische Klassifikation von Entwurfsentscheidungen gegenüber einem nicht-hierarchischen Ansatz zu untersuchen. Außerdem untersuchen und vergleichen wir die Effektivität der vortrainierten Sprachmodelle RoBERTa, XLNet, BERTOverflow und GPT-3 für diese Aufgabe. In unserer Evaluation schnitten die Ansätze mit vortrainierten Sprachmodellen im Allgemeinen besser ab als die Baseline-Ansätze. Wir konnten jedoch keinen klaren Vorteil der hierarchischen Ansätze gegenüber den nicht-hierarchischen Ansätzen in Kombination mit den Sprachmodellen feststelle. Letztlich sind die Ergebnisse dieser Arbeit durch die Größe und das Ungleichgewicht unseres Datensatzes limitiert und erfordern daher weitere Forschung mit einem größeren Datensatz.

Software architecture documentation (SAD) is an integral artefact emerging from the development process of a software project. The SAD contributes to the ongoing success of a software project by tracking important design decisions, ensuring a shared understanding of them and forestalling software erosion. In order to improve the quality of SADs and to support downstream tasks, an automatic classification of these design decisions is desirable. In this thesis, we implement and evaluate an approach to automatically identify and classify design decisions based on a fine-granular taxonomy by combining a hierarchical classification strategy with the exploitation of transfer learning through pre-trained language models. ... mehrThe main contribution of this study is to investigate the benefit of the hierarchical classification strategy for the classification of design decisions over a non-hierarchical approach. Additionally, we examine and compare the effectiveness of the pre-trained language models RoBERTa, XLNet, BERTOverflow, and GPT-3 for this task. In our evaluation, the approaches using pre-trained language models generally outperformed the baseline approaches. However, we could not find a clear advantage of the hierarchical approaches over the non-hierarchical approaches in combination with the language models. Ultimately, the results of this thesis are limited by the size and imbalance of our data set and therefore require further research on a larger data set.