Feinanpassung vs. Prompting: Der Fall der Wiederherstellung von Nachverfolgbarkeitsverbindungen

Bei der Softwareentwicklung entstehen verschiedene Anforderungen, die zueinander in Beziehung stehen können.
Diese Beziehungen werden mit Nachverfolgbarkeitsverbindungen (engl.: trace links, TLs) repräsentiert, die verschiedene Vorteile bieten, jedoch häufig gar nicht oder inkonsistent erfasst werden.
Deshalb beschäftigt sich die Forschung mit der Wiederherstellung von TLs zwischen Anforderungen, für die es verschiedenste Ansätze gibt.
Neuere automatisierte Ansätze verwenden häufig Feinanpassung oder Prompting, da sich damit oft bessere Ergebnisse erzielen lassen.
Aktuell ist jedoch unklar, welche Feinanpassungs- und Prompting-Ansätze in welchen Anwendungsfällen die beste Performance liefern, da bislang kein umfassender Vergleich zwischen ihnen unternommen wurde.

In dieser Bachelorarbeit wird daher ein solcher Vergleich durchgeführt, um zu ermitteln, mit welcher Anzahl an verfügbaren Projekt-TLs welcher vollautomatisierte Feinanpassungs- und Prompting-Ansatz in welcher Situation die beste Performance erzielt.
Dazu werden vier Szenarien betrachtet, in denen die Generierung und Vervollständigung von TLs mit und ohne die Nutzung von TLs aus anderen Projekten durchgeführt wird.
... mehr

In Anwendungsfällen, in denen keine Projekt-TLs vorliegen und alle TLs generiert werden müssen, liefert ein aktueller zero-shot Prompting-Ansatz die beste Performance, gemessen an den $F_1$-Werten.
Sind einige Projekt-TLs vorhanden, die vervollständigt werden müssen, dann erzielt der gleiche zero-shot Prompting-Ansatz bei wenigen vorhandenen TLs die besten $F_1$-Werte.
Wenn keine anderen Projekte mit TLs verfügbar sind, dann wird im Durchschnitt ab ca. 45 vorhandenen Projekt-TLs Feinanpassung zum besten Ansatz, gemessen an den $F_1$-Werten.
Liegen jedoch andere Projekte vor, dann ist dies schon ab etwa 20 TLs der Fall.

Die Ergebnisse dieser Arbeit liefern Praktikern, die sich mit der Wiederherstellung von TLs befassen, eine Orientierungshilfe bei der Auswahl des leistungsfähigsten Ansatzes und geben Forschern zugleich Hinweise auf mögliche Erweiterungen/Verbesserungen.