On the Impact of Context on Automated Requirements-to-Code Traceability Link Recovery

Requirement Traceability kann Anwender in vielen Software-Engineering- und Wartungsaufgaben wirksam unterstützen. Das manuelle Erstellen und Pflegen von Traceability-Informationen ist jedoch aufwendig und fehleranfällig. Dieses Problem kann durch den Einsatz automatisierter Traceability Link Recovery-Methoden adressiert werden. Bestehende Methoden erfordern jedoch entweder projektspezifische Trainingsdaten oder liefern Ergebnisse, deren Qualität nicht ausreicht, um Anwender ausreichend zu unterstützen. In dieser Masterarbeit untersuchen wir die automatisierte Wiederherstellung von Traceability Links zwischen Anforderungen und dem Source Code eines Projekts. ... mehrDabei bauen wir direkt auf dem LiSSA-Framework und auf Forschung in verwandten Gebieten auf, indem wir Embedding-Modelle und LLMs nutzen, um zu untersuchen, wie diese es ermögichen Kontextinformationen einzusetzen, um die Qualität der wiederhergestellten Links zu verbessern. Unsere Evaluation zeigt, dass der Einsatz von Kontext zwar zu besseren Resultaten führen kann, diese Verbesserungen jedoch nur einen geringen Umfang haben und eine sorgfältige Auswahl von Vorverarbeitungsschritten und Retrieval-Strategien erfordern. Darüber hinaus implementieren wir eine agentische Herangehensweise für TLR. Unsere Evaluation zeigt, dass ein LLM-basierter Agent zwar TLs wiederherstellen kann, dass jedoch das initiale Prompting sowie Art und Umfang der verfügbaren Werkzeuge einen großen Einfluss auf die resultierenden TLs haben. Zudem zeigt sich, dass der von uns vorgestellte agentische Ansatz derzeit noch nicht die Qualität traditioneller IR-basierter Methoden erreicht.

Requirement traceability can meaningfully support practitioners in a wide range of software engineering and maintenance tasks. However, manually maintaining traceability information is laborious and error-prone. Automated traceability link recovery techniques can address this issue. Existing approaches for requirement-to-code traceability link recovery (TLR), however, either require project-specific training or fail to produce results of sufficient quality for realworld use. In this master’s thesis, we explore the use of context in automated requirement traceability link recovery between requirements and source code artifacts. ... mehrBuilding directly on the existing Linking-Software-System-Artifacts (LiSSA) framework and recent work in related tasks, we leverage both embeddings and large language models (LLMs) to investigate how contextual information can enhance traceability link retrieval. Our evaluation shows that, while context can be beneficial and improve both the precision and recall of LiSSA’s retrieval when applied appropriately, these improvements are modest and depend on the careful selection of strategies and preprocessing techniques. We also implement and evaluate an agentic approach to requirement-to-code TLR. Our findings indicate that, while LLM-based agents can recover some of the trace links (TLs) present in a project, the agent’s initial prompting and the tools available to it have a substantial impact on the results. Nevertheless, both the precision and recall of our agentic approach currently fall short of traditional Information Retrieval (IR)-based techniques.