Using Large Language Models To Analyze Software Architecture Documentation

Begrenzte Trainingsdaten stellen eine Herausforderung für Traceability Link Recovery (TLR) und Inconsistency Detection (ID) dar. Große Sprachmodelle (LLMs) können dieses Problem lösen, da sie oft kein spezifisches Training benötigen. In dieser Arbeit erforschen wir verschiedene Techniken und Methoden für den Einsatz von GPT-4 für TLR und ID. Im Vergleich mit State-of-the-Art-Ansätzen erzielen unsere Ansätze beim Unmentioned-Model-Element-ID ähnliche Leistung. In der Disziplin der Missing-Model-Element ID konnten wir ihre Leistung jedoch nicht erreichen. Beim TLR erzielt Chain-of-Thought-Prompting die besten Ergebnisse, schlägt jedoch auch schlechter ab als State-of-the-Art. ... mehrDie Ergebnisse sind jedoch vielversprechend und es ist anzunehmen, dass fortschrittlichere LLMs und Techniken zu Verbesserungen führen.

Limited training data poses a challenge for Traceability Link Recovery (TLR) and Inconsistency Detection (ID). Large Language Models (LLMs) can solve this problem as they often do not require specific training. In this paper, we explore various techniques and methods for using GPT-4 for TLR and ID. Compared to state-of-the-art approaches, our approaches achieve similar performance in Unmentioned-Model-Element ID. However, in the discipline of Missing-Model-Element ID, we could not achieve their performance. For TLR, Chain-of-Thought-Prompting achieves the best results, but also performs worse than state-of-the-art. ... mehrThe results are promising, and it is reasonable to expect that more advanced LLMs and techniques will lead to improvements.