LLM-based Privacy Specification and Data Flow Diagram Derivation for Privacy Analysis

Die Datenschutzanalyse von Software-Entwürfen erfordert formale Artefakte aus natürlichsprachigen Anforderungen zur automatisierten Erkennung von Datenschutzverstößen. Das xDECAF-Framework unterstützt dies durch die Datenflussanalyse (DFA) auf Datenflussdiagrammen (DFD), die aus funktionalen Anforderungen abgeleitet und mit Datenschutzspezifikationen aus rechtlichen Anforderungen annotiert werden. Die Erstellung dieser beiden Artefakttypen erfordert derzeit manuellen Expertenaufwand, was die praktische Anwendung automatisierter Datenschutzanalyse einschränkt. Bestehende Ansätze die auf großen Sprachmodellen (LLM) basieren, adressieren die DFD-Generierung isoliert und erzeugen keine xDECAF-kompatiblen Ausgaben. ... mehrKeine vorherige Arbeit hat die LLM-basierte Automatisierung der vollständigen DFA-Vorverarbeitungskette empirisch evaluiert. Im Rahmen dieser Arbeit konzipierten, implementierten und evaluierten wir zwei LLM-basierte Pipelines als die ersten zwei Schritte zur vollständigen Automatisierung der DFA-Vorverarbeitungskette. Die erste leitet DFD aus funktionalen Anforderungen mithilfe von GPT-5.3-Codex ab. Die zweite leitet Datenschutz-Label-Schemata und Datenfluss-Constraint-Regeln aus rechtlichen Anforderungen mithilfe von GPT-5.5 ab. Beide nutzen Chain-of-Thought-Prompting, schemavalidierte Ausgaben und strukturiertes Retry-Feedback, um strukturelle Fehler vor der Weitergabe einzudämmen. Wir evaluierten beide Pipelines durch zweistufige Blind-Nutzerstudien: die erste mit 20 Erstellern und 12 Bewertern, die zweite mit 10 Erstellern und 6 Bewertern. LLM-abgeleitete Artefakte erhielten über alle Artefakttypen hinweg tendenziell niedrigere Durchschnittsbewertungen als von Menschen erstellte auf einer Skala von 1 bis 5. Im Vergleich LLM vs. Mensch lagen Vollständigkeit und Korrektheit der DFDs im Durchschnitt bei 2,5 vs. 4,0 und 2,9 vs. 3,6, bei Datenschutz-Labels bei 2,8 vs. 3,7 und 2,7 vs. 3,5 sowie bei Constraint-Mengen bei 2,3 vs. 3,2 und 1,8 vs. 3,0. Die Fehlermarkierung identifizierte fehlende Elemente und Halluzinationen als dominierende Fehlertypen in LLM-abgeleiteten DFD sowie vage Labels in LLM-abgeleiteten Datenschutz-Label-Mengen. Eines von vier LLM-abgeleiteten DFDs erreichte mit den menschlichen Gruppenmittelwerten vergleichbare Bewertungen, was zeigt, dass die Pipeline in einzelnen Durchläufen nahezu menschliche Qualität erzielen kann. Vier gemeinsame methodische Faktoren verhindern, dass diese Bewertungen als mehr als richtungsweisend behandelt werden. Dies sind Krippendorffs 𝛼 unterhalb der Zuverlässigkeitsschwelle über alle Bewertungsdimensionen, kleine Stichprobengrößen, ein Ersteller-Bewerter-Verankerungseffekt und asymmetrische Bewertungszahlen. Das Wiederauftreten unzuverlässiger Bewerterübereinstimmung bei beiden Aufgaben legt nahe, dass eine konsistente Qualitätsbewertung für Artefakttypen, die mehrere gültige Lösungen zulassen, schwierig zu erreichen ist.

Privacy analysis of software designs requires formal artifacts derived from natural language requirements for automated detection of privacy violations. The xDECAF framework supports this by running Data Flow Analysis (DFA) on Data Flow Diagrams (DFDs) derived from functional requirements and annotated with privacy specifications derived from legal requirements. Creating these two artifact types from natural language requirements currently requires manual expert effort, which limits the practical adoption of automated privacy analysis. Existing Large Language Model (LLM)-based approaches target DFD generation in isolation and do not produce xDECAF-compatible outputs. ... mehrNo prior work has empirically evaluated LLM-based automation of the full DFA preprocessing chain. Within this thesis, we designed, implemented, and evaluated two LLM-based pipelines as the first two steps toward full automation of the DFA preprocessing chain. The first derives DFDs from functional requirements using GPT-5.3-Codex. The second derives privacy label schemas and data-flow constraint rules from legal requirements using GPT-5.5. Both use chain-of-thought prompting, schema-validated outputs, and structured retry feedback to contain structural errors before downstream propagation. We evaluated both pipelines through two-part blind user studies: the first with 20 creators and 12 evaluators, the second with 10 creators and 6 evaluators. LLM-derived artifacts received directionally lower average ratings than human-created ones across all artifact types on a 1–5 scale. Comparing LLM-derived to human-created artifacts: DFD completeness and correctness averaged 2.5 vs. 4.0 and 2.9 vs. 3.6, privacy labels 2.8 vs. 3.7 and 2.7 vs. 3.5, and constraint sets 2.3 vs. 3.2 and 1.8 vs. 3.0. Issue flagging identified missing elements and hallucinations as the dominant defect types in LLM-derived DFDs, and vague labels in LLM-derived privacy label sets. One of four LLM-derived DFDs reached ratings comparable to the human group means, indicating that the pipeline can achieve near-human-quality outputs on individual runs. Four shared methodological factors prevent treating these ratings as more than directional. These are Krippendorff’s 𝛼 below the reliability threshold across all rating dimensions, small sample sizes, a creator-rater anchoring effect, and asymmetric rating counts. The recurrence of unreliable inter-rater agreement across both tasks suggests that consistent quality evaluation is difficult for artifact types that admit multiple valid solutions.