From Email to Issue: A RAG-based Ticket Creation System for Heterogeneous Data Sources

Kundenanfragen im Unternehmensumfeld gehen häufig als unstrukturierte E-Mails ein, die in strukturierte Issue-Tracker-Tickets überführt werden müssen. Diese Überführung ist eine manuelle und repetitive Aufgabe, die stark vom Domänenwissen einzelner Support-Ingenieure abhängt. Die Automatisierung dieses Prozesses umfasst Klassifikation und Informationsextraktion aus kurzen informellen Texten, abstraktive Textgenerierung sowie die Integration heterogener Datenquellen. Die zur Erstellung korrekter Tickets erforderlichen Kontextinformationen sind über heterogene interne Quellen wie Wiki-Seiten und kundenspezifische Konfigurationsdateien verteilt. ... mehrWährend bestehende Ansätze einzelne Ticket-Attribute wie die Klassifikation von Bearbeitergruppen oder die Beschreibungsgenerierung adressieren, generieren nur wenige Systeme alle Ticket-Felder gemeinsam in einer einzigen Pipeline.

Diese Arbeit stellt eine Pipeline auf Basis von Retrieval-Augmented Generation vor, die die Erstellung strukturierter Jira-Tickets aus Kunden-E-Mails automatisiert. Die Pipeline liest Confluence-Wiki-Seiten und auf GitHub gehostete JSON-Konfigurationsdateien ein und speichert diese in einem SAP HANA Cloud Wissensgraphen mit integriertem Vektorindex. Zur Laufzeit werden relevante Kontextinformationen durch vektorbasierte Ähnlichkeitssuche und graphbasierte Kontexterweiterung abgerufen. Ein strukturierter Prompt kombiniert den E-Mail-Inhalt mit den abgerufenen Kontextinformationen und weist ein großes Sprachmodell an, ein Ticket gemäß einem vordefinierten JSON-Schema zu generieren. Das erzeugte Ticket wird validiert und an Jira übermittelt.

Die Evaluation folgt zwei komplementären Ansätzen. Eine automatische Klassifikationsevaluation vergleicht die Vorhersagegenauigkeit für Komponenten- und Prioritätslabels mit Referenzlabels aus 127 realen Jira-Tickets. Ergänzend vergleicht eine menschliche Präferenzstudie mit drei Domänenexperten generierte Tickets mit manuell erstellten Tickets anhand mehrerer Qualitätskriterien auf einer fünfstufigen Präferenzskala. Das Prompt-Schema-Design erweist sich als der dominierende Einflussfaktor auf die Klassifikationsqualität und erreicht ohne Retrieval einen F1-Wert von 0,780 für die Komponentenvorhersage sowie 0,638 für die Prioritätsvorhersage. Retrieval-Augmentation hat einen begrenzten Einfluss auf die Klassifikationsgenauigkeit, verbessert jedoch die qualitativen Aspekte der generierten Ausgabe. Generierte Zusammenfassungen und Beschreibungen werden als vergleichbar mit manuell erstellten bewertet, während Kontextnutzung und Gesamtqualität schwächer als bei manuell erzeugten Tickets ausfallen. Insgesamt erzeugt die Pipeline verwendbare Tickets, die den manuellen Aufwand reduzieren, eine fachliche Überprüfung jedoch nicht ersetzen.

Customer support requests in enterprise environments often arrive as unstructured emails that must be converted into structured issue-tracker tickets. This conversion is a manual and repetitive task that depends heavily on the domain knowledge of individual support engineers. Automating this conversion spans classification and information extraction from short informal texts, abstractive text generation, and heterogeneous data integration. The contextual information required to produce accurate tickets is distributed across heterogeneous internal sources such as wiki pages and customer-specific configuration files. ... mehrWhile existing approaches address individual ticket attributes such as resolver group classification or description generation, few systems jointly generate all ticket fields within a single pipeline.

This thesis presents a retrieval-augmented generation pipeline that automates the creation of structured Jira tickets from customer emails. The pipeline ingests Confluence wiki pages and GitHub-hosted JSON configuration files and stores them in a SAP HANA Cloud knowledge graph with an integrated vector index. At query time, relevant evidence is retrieved through vector similarity search and graph-based context expansion. A structured prompt combines the email content with the retrieved evidence and instructs a large language model to generate a ticket conforming to a predefined JSON schema. The generated ticket is validated and submitted to Jira.

The evaluation follows two complementary tracks. An automatic classification evaluation measures component and priority prediction accuracy against ground-truth labels from 127 real Jira tickets. In addition, a human preference study with three domain experts compares generated tickets with human-written tickets across multiple quality criteria using a five-point preference scale. Prompt schema design emerges as the dominant factor influencing classification performance, achieving a component F1 of 0.780 and a priority F1 of 0.638 with no retrieval. Retrieval augmentation has limited impact on classification accuracy but improves the qualitative aspects of the generated output. Generated summaries and descriptions are rated comparable to human-written fields, while context usage and overall quality remain weaker than manually created tickets. Overall, the pipeline produces usable tickets that reduce manual effort but do not yet eliminate the need for expert review.