Traceability Link Recovery for Relations in Natural Language Software Architecture Documentation and Software Architecture Models

In der Softwareentwicklung spielt die Softwarearchitektur eine wichtige Rolle bei der Entwicklung und Wartung von Softwaresystemen. Sie wird durch Artefakte wie Softwarearchitekturdokumentation (SAD) und Softwarearchitekturmodelle (SAM) kommuniziert. Die Wahrung der Konsistenz und Nachvollziehbarkeit zwischen diesen Artefakten kann jedoch eine Herausforderung darstellen. Wenn es Inkonsistenzen oder fehlende Verbindungen gibt, kann dies zu Fehlern, Missverständnissen und erhöhten Wartungskosten führen.
In dieser Arbeit wird ein Ansatz zur Wiederherstellung der Rückverfolgbarkeit von Softwarearchitekturbeziehungen zwischen natürlichsprachigem SAD und SAM vorgeschlagen. ... mehrDer Ansatz beinhaltet die Verwendung von vortrainierten Sprachmodellen (PLMs) wie BERT und ChatGPT und unterstützt verschiedene Extraktionsmodi und Prompt-Engineering-Techniken für ChatGPT, sowie verschiedene Modellvarianten und Trainingsstrategien für BERT.
Der vorgeschlagene Ansatz ist mit ArDoCo integriert, einem Werkzeug, das Inkonsistenzen erkennt und Trace-Links zwischen Software-Artefakten wiederherstellt. ArDoCo wird für die Vorverarbeitung des SAD-Textes und das Parsen des SAM verwendet, was den Prozess der Wiederherstellung der Traceability-Links erleichtert.
Um die Leistungsfähigkeit des Frameworks zu bewerten, wird ein Goldstandard von SAD und SAM aus Open-Source-Projekten verwendet. Die Auswertung zeigt, dass der ChatGPT-Ansatz vielversprechende Ergebnisse bei der Beziehungsextraktion mit einem Recall von 0,81 und bei der Wiederherstellung von Rückverfolgbarkeitslinks mit einem F1-Score von 0,83 erzielt, während BERT-basierte Modelle aufgrund des Mangels an domänenspezifischen Trainingsdaten Schwierigkeiten haben.

In software development, software architecture plays a vital role in developing and maintaining software systems. It is communicated through artifacts such as software architecture documentation (SAD) and software architecture models (SAM). However, maintaining consistency and traceability between these artifacts can be challenging. If there are inconsistencies or missing links, it can lead to errors, misunderstandings, and increased maintenance costs.
This thesis proposes an approach for recovering traceability links of software architecture relations between natural language SAD and SAM. ... mehrThe approach involves the use of Pre-trained Language Models (PLMs) such as BERT and ChatGPT and supports different extraction modes and prompt engineering techniques for ChatGPT, as well as different model variants and training strategies for BERT.
The proposed approach is integrated with ArDoCo, a tool that detects inconsistencies and recovers trace links between software artifacts. ArDoCo is used for pre-processing the SAD text and parsing the SAM, thus facilitating the traceability link recovery process.
In order to assess the performance of the framework, a gold standard of SAD and SAM created from open-source projects is utilized. The evaluation shows that the ChatGPT approach has promising results in relation extraction with a recall of 0.81 and in traceability link recovery with an F1-score of 0.83, while BERT-based models struggle due to the lack of domain-specific training data.