Exploring the Traceability of Requirements and Source Code via LLMs

Zur effizienten Arbeit mit Code ist die Anforderung-zu-Code-Nachverfolgbarkeit entscheidend. Mit dem Aufkommen fortschrittlicher großer Sprachmodelle (engl. LLMs) besteht die Möglichkeit, diese Links mithilfe von LLMs anstelle spezialisierter Software oder Menschen zu identifizieren. Dies könnte Zeit und Kosten sparen sowie die Nutzung durch weniger erfahrene Anwender ermöglichen.

Diese Arbeit konzentriert sich auf die Entwicklung eines Ansatzes, der die entsprechende Eingabe vorbereitet und einen "um Informationsabruf ergänzten Generierungsansatz" (engl. RAG) sowie LLMs verwendet, um Links zu identifizieren und deren wissenschaftliche Validität zu bewerten. ... mehrDer Kern des Ansatzes besteht darin, LLMs für diesen Zweck zu nutzen, unterstützt durch einen Prototypen, der die Kommunikation mit den Modellen und die erforderliche Vorbereitung ermöglicht.

Zunächst werden Grundlagen sowie verwandte Arbeiten erarbeitet, um geeignete Evaluationsmetriken und eine Vergleichsdatenbasis zu eruieren. Anschließend folgt eine Vorstudie, in der mit zwei selbst erstellten Datensätzen iterativ die Parameter des Prototyps ausgearbeitet und parallel der Prototyp implementiert werden.

Nachdem die Ergebnisse des Prototyps basierend auf den Metriken Präzision, Ausbeute und F1-Punktzahl als zufriedenstellend bewertet werden, werden die beiden Datensätze aus der Vorstudie sowie zwei zusätzliche, aus verwandten Arbeiten identifizierte Datensätze mit denselben Parametern verwendet, um Daten für die Auswertung zu sammeln. Die Ergebnisse werden analysiert und Hypothesen formuliert, wobei sich zeigt, dass das Auffinden von Links auf Dateiebene mithilfe von LLMs relativ gut funktioniert. Anschließend wird eine notwendige Stichprobe verwendet, um die Metriken für das Auffinden von Links auf Funktionsebene durch LLMs zu bewerten, wobei Potenzial für diese Anwendung identifiziert wird.

Es zeigt sich, dass LLMs bei der Identifizierung von Links in gegebenem Code ähnlichen Einschränkungen wie Menschen unterliegen. LLMs können jedoch Vorteile bieten, wenn die identifizierten Voraussetzungen erfüllt sind, da sie möglicherweise schneller als Menschen arbeiten und gleichzeitig in der Lage sind, geeignete Dokumentationen zu erstellen. Letztlich erweist sich der in dieser Arbeit verfolgte Ansatz als sehr vielversprechend, da die Ergebnisse im Vergleich zu den aus verwandten Arbeiten als Benchmark gewählten Ergebnissen vergleichbare Resultate beim Auffinden von Links auf Dateiebene liefern und zusätzlich valide Hinweise auf die Möglichkeit geben, Links auf Funktionsebene mithilfe von LLMs zu finden.

Zum Schluss werden Optimierungspotenziale des gewählten Ansatzes basierend auf verwandten Arbeiten und den tatsächlichen Auswertungsergebnissen entwickelt.

Efficient work with code relies heavily on requirement-to-code traceability. With the emergence of more advanced LLMs, there is potential to identify these trace links using LLMs instead of specialized software or human intervention. This could save time and costs while also enabling use by less experienced users.

This thesis focuses on the development of an approach that prepares the input and uses RAG and LLMs to identify trace links and assess its scientific validity. The core idea is to leverage LLMs for this purpose, supported by a Prototype that enables communication with the models and the needed preparation.
... mehr

First, the fundamentals and related work are explored to establish suitable evaluation metrics and a comparative data basis. This is followed by a preliminary study in which the parameters of the Prototype are iteratively refined using two self-created datasets, and the Prototype is implemented in parallel.

After the Prototype's results are deemed satisfactory based on the metrics of Precision, Recall, and F1-score, the two datasets from the preliminary study and two additional datasets identified from related work are used with the same parameters to collect data for evaluation. The results are analyzed, and hypotheses are formulated, revealing that finding trace links at the file level using LLMs works relatively well. Subsequently, a necessary sample is used to evaluate the metrics for finding trace links at the function level through LLMs, where potential for this application is identified.

It is found that LLMs face similar limitations to humans when finding trace links in given code; however, they can offer advantages if the identified prerequisites are met, as they might be faster than humans while also being able to generate appropriate documentation. Ultimately, the approach pursued in this thesis proves very promising, as the results, compared to those from the related work chosen as a benchmark, yield comparable outcomes for finding trace links at the file level and additionally provide valid indications of the possibility of finding trace links at the function level using LLMs.

Finally, optimization potentials of the chosen approach are developed based on related work and the actual evaluation results.