The Role of Context in Automated Requirements-to-Requirements Traceability Link Recovery

Beim Aufbau großer Softwaresysteme müssen Entwickler und Requirements-Ingenieure eine Vielzahl unterschiedlicher Softwareanforderungen im Blick behalten.
Um die Komplexität der Verwaltung dieser Anforderungen zu vereinfachen, können Traceability-Links verwendet werden, um Beziehungen zwischen Anforderungen explizit zu machen.
Trace-Links sind ein wichtiges Werkzeug für viele Aufgaben im Bereich Software-Engineering, wie zum Beispiel die Analyse von Änderungsauswirkungen oder die Sicherstellung der Konsistenz sowie die Einhaltung gesetzlicher Vorschriften.
In vielen Softwareprojekten sind Traceability-Informationen nicht verfügbar, da die manuelle Erstellung von Trace-Links arbeitsintensiv, fehleranfällig und kostspielig ist.
... mehr
Daher werden automatisierte Tools untersucht, mit denen Trace-Links aus bestehenden Softwareprojekten zurückgewonnen werden können.
Neuere Entwicklungen in diesem Bereich nutzen große Sprachmodelle (LLMs) für die Aufgabe der Rückgewinnung von Trace-Links (TLR).
LLMs verfügen zwar über ein breites Weltwissen, das während ihres Trainings kodiert wird, ihnen fehlt aber in der Regel das projektspezifische Wissen, das erforderlich ist, um die Anforderungen eines Softwareprojekts vollständig zu verstehen.
Diese Arbeit schlägt die Verwendung von Kontext für LLM-basierte TLR zwischen Anforderungen vor, um diese Lücke zu schließen.
Es werden drei Arten von Kontext untersucht, um die Leistung der automatisierten TLR zwischen Anforderungen zu verbessern.
Die erste Art ist die automatisierte Umschreibung von Anforderungen, um die Wahrscheinlichkeit einer semantischen Ähnlichkeit zwischen verwandten Anforderungen zu erhöhen.
Zweitens wird die Verwendung von Anforderungen als Kontext untersucht, um dem Modell neben den Anforderungen eines Trace-Link-Kandidaten einen breiteren Einblick in projektspezifische Informationen zu geben.
Schließlich werden projekt-externe Trace-Link-Beispiele als Kontext verwendet, um ähnliche Anforderungskonstellationen zwischen verschiedenen Projekten zu nutzen.
Diese letzte Kontextart ist die erste Implementierung von dynamischem Few-Shot-Prompting für LLM-basiertes TLR.
Die Verwendung von Kontext wird im Vergleich zu einem Basissystem bewertet, das keine Kontextinformationen verwendet.
Es zeigt sich, dass die Verwendung von Kontext einen geringen, aber insgesamt positiven Effekt auf die TLR-Leistung hat, wenn Anforderungsumschreibungen oder externe Trace-Links verwendet werden.
Die Verwendung zusätzlicher Anforderungen als Kontext hat einen leicht negativen Effekt auf die Gesamtleistung von TLR.
Es zeigt sich, dass der Effekt des Kontexts auf die TLR-Leistung je nach dem Projekt, in dem die Aufgabe ausgeführt wird, sowie je nach verschiedenen Parametern, die für jeden Kontexttyp einzigartig sind, variiert.

When building large software systems, engineers have to keep track of a large quantity and variety of software requirements.
To simplify the complexity of managing these requirements, traceability links can be used to make relationships between requirements explicit.
Trace links are an important tool for many software engineering tasks, such as change impact analysis or ensuring consistency, as well as regulatory compliance.
In many software projects traceability information is not available, as creating trace links manually is labor-intensive, error-prone, and expensive.
... mehr
Thus, researchers are investigating automated tooling that can recover trace links from existing software projects.
Recent developments in the field make use of large language models (LLMs) for the trace link recovery (TLR) task.
While LLMs have a broad world knowledge that is encoded during their training, they generally lack the project-specific knowledge required to fully understand a software project's requirements.
This thesis proposes the use of context for LLM-based inter-requirement TLR to fill this gap.
Three types of context are investigated to improve automated requirements-to-requirements TLR performance.
The first kind is the automatic paraphrasing of requirements to increase the chance of semantic inter-requirement similarity.
Secondly, the usage of requirements as context is investigated to give the model a broader insight into project-specific information besides the requirements of a trace link candidate.
Finally, project-external trace link examples are used as context to make use of similar requirement constellations between different projects.
The last context type is the first implementation of dynamic few-shot prompting for LLM-based TLR.
The use of context is evaluated compared to a baseline system that is not using context information.
It is found that the use of context has a small but generally positive effect on TLR performance when requirement paraphrasing or external trace links are used.
Using additional requirements as context has a slight negative effect on overall TLR performance.
The effect of context on TLR performance is found to vary depending on the project the task is being performed on as well as on different parameters unique to each type of context.