Tracing Dataflow Entities from Requirements to Software Architecture

Die Rückverfolgbarkeit zwischen Anforderungen und Softwarearchitekturmodellen ist eine wesentliche Grundlage für die Wartung sicherheitskritischer Systeme, da sie sicherstellt, dass Implementierungen konsistent mit den Anforderungen bleiben und Sicherheitsvorgaben einhalten. Bestehende Ansätze wie SWATTR konzentrieren sich in erster Linie auf Trace Links zu Komponenten, während datenflussorientierte Anforderungen bisher nicht berücksichtigt wurden. Diese Arbeit erweitert bestehende Traceability-Ansätze um sicherheitsrelevante Datenflüsse, indem Large Language Models (LLMs) für die Extraktion von Entitäten und die Erstellung von Trace Links eingesetzt sowie das zugrunde liegende Metamodell um Datenflussrepräsentationen ergänzt werden. ... mehrAls Fallstudie wurden Anforderungen aus dem Open-Source-Framework EVerest für das Laden von Elektrofahrzeugen mit SecLan-Elementtypen annotiert und zur Erstellung eines Goldstandards genutzt. Dieses Datenset bildet die Grundlage der Evaluation und stellt zugleich eine wertvolle Ressource dar, da annotierte sicherheitsrelevante Anforderungen bislang nur in sehr geringem Umfang verfügbar sind. Die Evaluation zeigt, dass GPT-4.1 Datenfluss-bezogene Elemente mit vielversprechender Genauigkeit extrahieren kann. Für Komponenten wurde ein Recall von 0,92 und ein F2-Wert von 0,86 erreicht, womit der SWATTR-Baseline-Ansatz (Recall 0,80, F2-Wert 0,44) deutlich übertroffen wurde. Über alle Elementtypen hinweg erreichte die Extraktion einen Recall von 0,78 und einen F2-Wert von 0,73. Bei der Trace-Link-Erstellung übertraf GPT-4.1 SWATTR, wenn manuell extrahierte Elemente genutzt wurden. Für die Verknüpfung von Komponenten erzielte GPT-4.1 eine Präzision von 0,88 und einen Recall von 0,88, während SWATTR geringere Werte erreichte (Präzision 0,77, Recall 0,73). Gleichzeitig erwies sich GPT-4.1 bei automatisch extrahierten Eingaben als anfälliger, während SWATTR in diesen Fällen robuster war. Im letzten Schritt konnten Trace Links für alle im Goldstandard annotierten Datenflüsse erstellt werden. Zusätzlich wurden weitere gültige Flüsse entdeckt, die bisher nicht annotiert waren. Diese Ergebnisse zeigen, dass LLM-basierte Ansätze die Rückverfolgbarkeit über reine Komponenten-Verknüpfungen hinaus erweitern und eine Grundlage für die Einführung von Datenfluss-Tracing bieten können. Trotz bestehender Herausforderungen, insbesondere bei der zuverlässigen Extraktion vollständiger Datenflüsse, verdeutlichen die Resultate das Potenzial von LLMs, heuristische Ansätze zu ergänzen und detaillierte Trace Links für sicherheitsrelevante Anforderungen zu ermöglichen.

Traceability between requirements and software architecture models is essential for maintaining security-critical systems, as it ensures that implementations remain consistent with requirements and compliant with security constraints. Existing approaches such as SWATTR focus primarily on trace links to components, while dataflow-oriented requirements have not been considered so far. This thesis extends traceability approaches to security-related dataflows by leveraging large language models (LLMs) for entity extraction and trace link recovery, and by extending the underlying metamodel with dataflow representations. ... mehrAs a case study, requirements from the open-source EVerest framework for electric vehicle charging were annotated with SecLan element types and used to construct a gold standard. This dataset provides the evaluation basis and contributes a valuable resource, as labeled security-related requirements are otherwise scarce. The evaluation shows that GPT-4.1 can extract dataflow-related elements with promising accuracy. For components, a recall of 0.92 and an F2-score of 0.86 were achieved, clearly outperforming the SWATTR baseline (recall 0.80, F2-score 0.44). Across all dataflow-related element types, the extraction reached an overall recall of 0.78 and an F2-score of 0.73. For trace link recovery, GPT-4.1 surpassed SWATTR when provided with manually extracted elements. For tracing components, GPT-4.1 achieved a precision of 0.88 and a recall of 0.88, while SWATTR produced worse results (precision 0.77 and recall 0.73). At the same time, GPT-4.1 proved more sensitive to automatic extraction, while SWATTR was more robust under such conditions. In the final step, trace links were created for all annotated dataflows in the gold standard and additional valid flows were discovered beyond it. These findings indicate that LLM-based approaches can extend traceability beyond component-level links and provide a foundation to introduce tracing of dataflows. While challenges remain, especially regarding the reliable extraction of complete dataflows, the results demonstrate the potential of LLMs to complement heuristic approaches in creating detailed trace links for security-related requirements.