Retrieval-Augmented Large Language Models for Traceability Link Recovery

Während der Entwicklung von Software werden viele Artefakte erstellt. Rückvervolgbarkeitsinformation zwischen ihnen sind wichtig für Aufgaben wie die Einhaltung von Anforderungen, Auswirkungsanalysen von Änderungen und das Auffinden von Dokumentationsinkonsistenzen. Das manuelle Erstellen von Rückverfolgbarkeitsverbindungen ist fehleranfällig und kostspielig. Eine Herausforderung besteht in den unterschiedlichen Abstraktionsebenen von Artefakten.
Diese Arbeit verwendet Retrieval-Augmented Large Language Models, um diese semantische Lücke zu überbrücken, und bewertet diesen Ansatz in drei verschiedenen Aufgaben zur Wiederherstellung von Rückverfolgbarkeitsverbindungen. ... mehrKosten und Verarbeitungszeit werden niedrig gehalten, indem das Sprachmodell nur zur Klassifizierung von Artefaktpaaren verwendet wird, die Artefakte enthalten, die ähnlich zueinander sind. Für die Wiederherstellung von Rückverfolgbarkeitsverbindungen zwischen Anforderungen und Quellcode erzielt der Ansatz vergleichbare Ergebnisse zu dem Stand der Technik mit F1-Werten von 0.388 auf SMOS, 0.478 auf eTour und 0.313 auf iTrust. Für die Aufgaben der Rückverfolgbarkeitsverbindungen von Softwarearchitekturdokumentation zu Softwarearchitekturmodellen und von Softwarearchitekturdokumentation zu Quellcode erreicht der Ansatz nicht den Stand der Technik.

During the development of software many kinds of artifacts are created. Traceability information between them is important for development tasks, such as compliance with requirements, change impact analysis, and finding documentation inconsistencies.
Manually establishing trace links is error-prone and costly. One challenge is the different abstraction levels artifacts can have. This thesis uses retrieval-augmented large language models to bridge this semantic gap and evaluates this approach on three different traceability link recovery tasks. Cost and processing time are kept low by only using the language model to classify artifact pairs containing similar artifacts. ... mehrFor requirement to source code traceability link recovery, the approach achieves results comparable to state-of-the-art approaches with F1 scores of 0.388 on SMOS, 0.478 on eTour, and 0.313 on iTrust. The approach does not reach the state-of-the-art for the software architecture documentation to software architecture model and software architecture documentation to source code tasks.