Fine-tuning vs. Prompting: The Case of Requirements Classification

Die Klassifizierung von Anforderungen ist eine zentrale Aufgabe in der Softwareentwicklung, bei der Anforderungen in verschiedene Kategorien wie funktionale und nicht-funktionale Anforderungen eingeteilt werden.
Sie hilft dabei, Anforderungen zu priorisieren und die Qualität der Software zu verbessern.
Um diesen Prozess zu automatisieren, wurden in den letzten Jahren zahlreiche Ansätze des maschinellen Lernens untersucht.
Mit dem Aufkommen von LLMs wurden Fine-Tuning und Prompting evaluiert, was vielversprechende Ergebnisse zeigte.
Die aktuelle Forschung liefert jedoch keine Richtlinien dafür, wann welche Technik eingesetzt werden sollte.
... mehr

Diese Arbeit zielt darauf ab, diese Lücke zu schließen, indem sie modernste Fine-Tuning- und Prompting-Ansätze in verschiedenen Anwendungsszenarien systematisch vergleicht.
Zu diesem Zweck werden drei reale Szenarien untersucht, die die unterschiedliche Verfügbarkeit von Beispieldaten abdecken.
Auf dieser Grundlage soll untersucht werden, wie viel Trainingsdaten erforderlich sind, um mit Fine-Tuning ähnliche oder bessere Ergebnisse zu erzielen als mit Prompting-Techniken.

Bei der Bewertung ausschließlich anhand von unbekannten Projekten erzielt Zero-Shot-Prompting oft eine ähnliche oder sogar bessere Leistung als das Fine-Tuning.
Wenn Anforderungen aus demselben Projekt für das Training zur Verfügung stehen, reichen 20 bis 40 Anforderungen aus, um das Prompting mit Fine-Tuning zu übertreffen.
Je nach Aufgabe und Fine-Tuning-Ansatz verbesserte die manuelle Beschriftung von 20 Anforderungen die Leistung im besten Fall um bis zu 25 Prozentpunkte und oft um mindestens 10 Prozentpunkte.
Die evaluierten Ansätze zeigten, dass Fine-Tuning immer eine bessere Leistung erzielt als Prompting, sofern genügend Trainingsdaten zur Verfügung standen.

Diese Arbeit liefert Leitlinien für die Anforderungsklassifizierung in der Praxis und dient als Grundlage für weitere Forschungen zu diesem Thema.

Requirements classification is a key task in software development, in which requirements are grouped into different categories, such as functional and non-functional requirements.
It helps to prioritize requirements and improve quality of the software.
To automate this process, many machine learning approaches have been studied in recent years.
With the rise of LLMs, fine-tuning and prompting were evaluated, showing promising results.
However, current research does not provide guidelines for when to use which technique.

This thesis aims to address this gap by systematically comparing state-of-the-art fine-tuning and prompting approaches on different application scenarios.
... mehr
For this purpose, three real-world scenarios are examined, covering the varying availability of sample data.
Based on that, the goal is to investigate how much training data is required to achieve similar or better results with fine-tuning as with prompting techniques.

When evaluating only on unseen projects, zero-shot prompting often achieves a similar or even better performance than fine-tuning.
If requirements from the same project are available for training, 20 to 40 requirements are enough to outperform prompting with fine-tuning.
Depending on the task and fine-tuning approach, labeling 20 requirements manually improved the performance by up to 25 percentage points in the best case and often by at least 10 percentage points.
The evaluated approaches showed that fine-tuning always achieves a better performance than prompting if enough training data was provided.

This thesis provides guidelines for requirements classification in practice and serves as a foundation for further research regarding this topic.