Automated Prompt Engineering for Traceability Link Recovery

Traceability link recovery (TLR) ist eine wichtige Aufgabe im Software Engineering, die dabei hilft, trace links zwischen verschiedenen Softwareartefakten zu etablieren und zu pflegen. Traditionelle TLR-Methoden basieren häufig auf information retrieval-Techniken, um Kandidatenlinks zu identifizieren. Neuere Ansätze verwenden large language models (LLMs), um die Genauigkeit und Rückgewinnungsraten von TLR zu verbessern. Um LLMs jedoch effektiv zu nutzen, ist es entscheidend, geeignete Prompts zu entwickeln. Dieser Prozess des Prompt Engineering wird oft manuell durchgeführt und ist häufig zeitaufwändig, da er erhebliche Expertise erfordert.
... mehr

In dieser Arbeit wird ein automatic prompt engineering (APE)-Ansatz vorgeschlagen und realisiert, um diese Aufgabe für TLR im Linking Software System Artifacts (LiSSA) framework zu automatisieren. Unter Verwendung von Feedback aus vorherigen Iterationen werden LLMs eingesetzt, um Prompts zu verfeinern. Der Ansatz wird auf fünf Datensätzen aus der requiremens-to-requirements-Aufgabe unter Verwendung von drei verschiedenen LLMs evaluiert. Als Baseline werden aktuelle Klassifikationsprompts aus dem LiSSA framework verwendet.

Die Ergebnisse zeigen, dass der realisierte Ansatz die Leistung von TLR-Aufgaben verbessern kann. Darüber hinaus wird demonstriert, dass der leistungsstärkste optimierte Prompt für einen Datensatz, gemessen am F1-Score, auch auf anderen Datensätzen derselben Aufgabe gut funktioniert. Da die durch diese Arbeit erzielten optimierten Prompts als feste Klassifikationsprompts verwendet werden können, muss der APE-Algorithmus nicht für jede Evaluierung angewendet werden. Insgesamt trägt diese Arbeit zum Feld von TLR bei, indem ein Ansatz für APE unter Verwendung von LLMs realisiert wird.

Weitere Forschung kann durchgeführt werden, um mehr Freiheitsgrade für die APE-Algorithmen zu erforschen. Der APE-Ansatz kann auch in anderen TLR-Domänen, mit verschiedenen Modellen und neuen Prompting-Strategien untersucht werden.

Traceability link recovery (TLR) is an important task in software engineering that helps to establish and maintain trace links between different software artifacts. Traditional TLR methods often rely on information retrieval techniques to identify candidate links. More novel approaches use large language models (LLMs) to improve the accuracy and retrieval rates of TLR. However, to utilize LLMs effectively, it is crucial to design appropriate prompts. This process of prompt engineering is often done manually and often time-consuming, requiring significant expertise.

In this work, an automatic prompt engineering (APE) approach is proposed and realized to automate this task for TLR in the Linking Software System Artifacts (LiSSA) framework. ... mehrUsing feedback form previous iterations, LLMs are used to refine prompts. The approach is evaluated on five datasets from the requiremens-to-requirements task using three different LLMs. As a baseline, current classification prompts from the LiSSA framework are used.

The results show that the realized approach can improve the performance of TLR tasks. Furthermore, it is demonstrated that the best-performing optimized prompt for a dataset, in terms of F1-Score, also performs well on other datasets of the same task. As the optimized prompts yielded by this work can be used as fixed classification prompts, the APE algorithm is not required to be applied for every evaluation. Overall, this work contributes to the field of TLR by realizing an approach to APE using LLMs.

Further research can be conducted in order to explore more degrees of freedom for the APE algorithms. The APE approach can also be investigated in other TLR domains, with different models and new prompting strategies.